リアル非整列RGBガイダンスによるハイパースペクトル画像超解像

Hyperspectral Image Super Resolution With Real Unaligned RGB Guidance.

抄録

フュージョンに基づくハイパースペクトル画像（HSI）の超解像は、ペアとなる高解像度（HR）RGB参照（Ref-RGB）画像から高周波の空間情報を統合する能力により、ますます普及している。しかし、既存の手法の多くは、低解像度（LR）HSIとRGB画像間の正確な位置合わせに大きく依存するか、あるいは、剛体幾何変換によって生成された位置合わせされていないRGB画像のシミュレーションにしか対応できないため、実シーンに対する有効性が弱い。この論文では、剛体および非剛体不整合を持つ実際のRef-RGB画像を用いた融合ベースのHSI超解像を探求する。非整列参照画像に対する既存手法の限界に適切に対処するため、我々は異種特徴抽出、多段特徴整列、および注意深い特徴融合を用いたHSI融合ネットワーク（HSIFN）を提案する。具体的には、本ネットワークはまず、入力されたHSI画像とRGB画像を、それぞれHSIエンコーダとRGBエンコーダを用いて2組のマルチスケール特徴量に変換する。次にRef-RGB画像の特徴量を多段アライメントモジュールで処理し、Ref-RGBの特徴量をLR HSIに明示的にアライメントする。最後に、Ref-RGBのアライメントされた特徴量は、融合デコーダに送られる前に、適応的注意モジュールによってさらに調整され、より識別性の高い領域に焦点が当てられ、再構成されたHR HSIが生成される。さらに、実際のシーンに対する提案モデルの評価をサポートするために、ペアリングされたHSIとアラインメントされていないRef-RGBからなる、実世界のHSIフュージョンデータセットを収集する。シミュレーションと実世界のデータセットの両方で広範な実験を行い、定量的な評価と視覚的な比較において、我々の手法が既存の単一画像や融合ベースの超解像手法よりも明らかに改善されることを示す。コードとデータセットはhttps://zeqiang-lai.github.io/HSI-RefSR/。

Fusion-based hyperspectral image (HSI) super-resolution has become increasingly prevalent for its capability to integrate high-frequency spatial information from the paired high-resolution (HR) RGB reference (Ref-RGB) image. However, most of the existing methods either heavily rely on the accurate alignment between low-resolution (LR) HSIs and RGB images or can only deal with simulated unaligned RGB images generated by rigid geometric transformations, which weakens their effectiveness for real scenes. In this article, we explore the fusion-based HSI super-resolution with real Ref-RGB images that have both rigid and nonrigid misalignments. To properly address the limitations of existing methods for unaligned reference images, we propose an HSI fusion network (HSIFN) with heterogeneous feature extractions, multistage feature alignments, and attentive feature fusion. Specifically, our network first transforms the input HSI and RGB images into two sets of multiscale features with an HSI encoder and an RGB encoder, respectively. The features of Ref-RGB images are then processed by a multistage alignment module to explicitly align the features of Ref-RGB with the LR HSI. Finally, the aligned features of Ref-RGB are further adjusted by an adaptive attention module to focus more on discriminative regions before sending them to the fusion decoder to generate the reconstructed HR HSI. Additionally, we collect a real-world HSI fusion dataset, consisting of paired HSI and unaligned Ref-RGB, to support the evaluation of the proposed model for real scenes. Extensive experiments are conducted on both simulated and our real-world datasets, and it shows that our method obtains a clear improvement over existing single-image and fusion-based super-resolution methods on quantitative assessment as well as visual comparison. The code and dataset are publicly available at https://zeqiang-lai.github.io/HSI-RefSR/.