📄
Publications
Publications
出版物
Image Fusion Survey: A Novel Taxonomy Integrating Transformer and Recent Approaches
Image Fusion Survey: A Novel Taxonomy Integrating Transformer and Recent Approaches
画像フュージョン調査： トランスフォーマーと最新のアプローチを統合した新しい分類法
Auteurs :
Authors :
執筆者 :
Bernardi Gwendal, Strubel David, Brisebarre Godefroy, Garin Jean-François, Ardabilian Mohsen, Dellendrea Emmanuel
Date :
Date :
日付 :
1 Décembre 2024
1 December 2024
2024 年 12 月 1 日
Conférence :
Conference :
会議 :
ICPR 2024, workshop MCMI Multi- and Cross-Modal Information for Enhanced Pattern Recognition
Résumé :
Abstract :
要旨 :
Research progress in multi-modal information fusion, particularly in Image Fusion, has experienced significant advancements over the last decade.
By integrating information from multiple sources or modalities, image fusion enables the extraction of comprehensive insights and facilitates more
accurate analysis and decision-making processes. The inherent complexity of image fusion, stemming from its unstructured nature, necessitates high
levels of abstraction and intricate data representation. The utilization of deep learning, notably CNN and more recently introduced Vision Transformer,
has yielded substantial enhancements in image fusion methodologies. This paper presents a comprehensive survey of image fusion methodologies,
focusing on recent advancements and introducing a novel taxonomy based on supervised, unsupervised, and task-driven approaches.
The survey encompasses recent contributions, including the integration of transformer architectures, which have emerged as powerful
tools for image fusion tasks. This classification is supported by a distinction of methods by architecture type (CNN, GAN, Transformer)
for a better understanding of the relationships between methods. Through the synthesis of existing literature and the introduction of a new classification paradigm,
this survey aims to provide researchers and practitioners with a comprehensive overview of image fusion techniques and guide future research directions in this rapidly evolving field.
Research progress in multi-modal information fusion, particularly in Image Fusion, has experienced significant advancements over the last decade.
By integrating information from multiple sources or modalities, image fusion enables the extraction of comprehensive insights and facilitates more
accurate analysis and decision-making processes. The inherent complexity of image fusion, stemming from its unstructured nature, necessitates high
levels of abstraction and intricate data representation. The utilization of deep learning, notably CNN and more recently introduced Vision Transformer,
has yielded substantial enhancements in image fusion methodologies. This paper presents a comprehensive survey of image fusion methodologies,
focusing on recent advancements and introducing a novel taxonomy based on supervised, unsupervised, and task-driven approaches.
The survey encompasses recent contributions, including the integration of transformer architectures, which have emerged as powerful
tools for image fusion tasks. This classification is supported by a distinction of methods by architecture type (CNN, GAN, Transformer)
for a better understanding of the relationships between methods. Through the synthesis of existing literature and the introduction of a new classification paradigm,
this survey aims to provide researchers and practitioners with a comprehensive overview of image fusion techniques and guide future research directions in this rapidly evolving field.
マルチモーダル情報フュージョン、特に画像フュージョンにおける研究の進歩は、過去10年間で著しいものがある。複数のソースやモダリティからの情報を統合することで、画像フュージョンは包括的な洞察の抽出を可能にし、
より正確な分析と意思決定プロセスを促進します。非構造化という性質に由来する画像フュージョン固有の複雑性により、高度な抽象化と複雑なデータ表現が必要となる。特にCNNや最近導入されたVision Transformerなどのディープラーニングの活用は、
画像融合手法の大幅な強化をもたらした。本稿では、画像融合手法の包括的なサーベイを行い、最近の進歩に焦点を当て、教師あり、教師なし、タスク駆動型アプローチに基づく新しい分類法を紹介する。このサーベイでは、
画像融合タスクのための強力なツールとして登場した変換器アーキテクチャの統合を含む、最近の貢献を網羅する。この分類は、アーキテクチャタイプ (CNN、GAN、トランスフォーマー) による手法の区別によってサポートされている。
手法間の関係をより良く理解するためである。既存の文献を統合し、新しい分類パラダイムを導入する、 本サーベイの目的は、研究者や実務者に画像融合技術の包括的な概要を提供し、急速に発展するこの分野における今後の研究の方向性を導くことである。
Mots Clés :
Keywords :
キーワード :
Fusion d'Image, Multi-Modal, Task-Driven, Fusion Transformer
Image Fusion, Multi-Modal, Task-Driven, Fusion Transformer
画像フュージョン、マルチモーダル、タスク駆動型、フュージョントランスフォーマー
A Comprehensive Survey on Image Fusion: Which Approach Fits Which Need
A Comprehensive Survey on Image Fusion: Which Approach Fits Which Need
画像融合に関する包括的な調査： どのアプローチがどのニーズに合うか
Auteurs :
Authors :
執筆者 :
Bernardi Gwendal, Brisebarre Godefroy, Roman Sébastien, Ardabilian Mohsen, Dellendrea Emmanuel
Date :
Date :
日付 :
22 Mars 2025
22 March 2025
2025 年 03 月 22 日
Journal :
Journal :
科学雑誌 :
Pre-print
Résumé :
Abstract :
要旨 :
Image fusion is a crucial domain within computer vision, focusing on integrating elements from multiple images to extract complementary information while eliminating redundancy.
Once the relevant features are identified, they are combined to achieve specific application goals. The field of image fusion encompasses several categories, including multi-focus,
multi-exposure, multi-modal, and multi-view fusion. Most state-of-the-art solutions focus on optimizing methods to address a specific fusion category (e.g., multi-view, multi-modal,
multi-exposure, or multi-focus). However, some use cases require universal methods that can handle all these challenges. The purpose of this review is to provide an in-depth and
detailed analysis of various image fusion categories to thoroughly understand these domains. Additionally, this survey aims to integrate multi-view image fusion methods into a comprehensive
overview of image fusion, which is not commonly addressed in the existing literature. The goal is to highlight multi-category methods that can tackle image fusion problems involving images
from different types of fusion categories. Finally, potential directions for advancing this category of methods will be proposed, alongside the various challenges that this field faces.
This survey examines each image fusion category to gain a better understanding of the issues related to multi-category methods. It contributes to the field of image fusion and offers researchers
valuable insights into developing more effective multi-category solutions.
Image fusion is a crucial domain within computer vision, focusing on integrating elements from multiple images to extract complementary information while eliminating redundancy.
Once the relevant features are identified, they are combined to achieve specific application goals. The field of image fusion encompasses several categories, including multi-focus,
multi-exposure, multi-modal, and multi-view fusion. Most state-of-the-art solutions focus on optimizing methods to address a specific fusion category (e.g., multi-view, multi-modal,
multi-exposure, or multi-focus). However, some use cases require universal methods that can handle all these challenges. The purpose of this review is to provide an in-depth and
detailed analysis of various image fusion categories to thoroughly understand these domains. Additionally, this survey aims to integrate multi-view image fusion methods into a comprehensive
overview of image fusion, which is not commonly addressed in the existing literature. The goal is to highlight multi-category methods that can tackle image fusion problems involving images
from different types of fusion categories. Finally, potential directions for advancing this category of methods will be proposed, alongside the various challenges that this field faces.
This survey examines each image fusion category to gain a better understanding of the issues related to multi-category methods. It contributes to the field of image fusion and offers researchers
valuable insights into developing more effective multi-category solutions.
画像フュージョンはコンピュータビジョンの中でも重要な領域であり、複数の画像から要素を統合し、冗長性を排除しながら補完的な情報を抽出することに重点を置いている。関連する特徴が特定されると、
それらを組み合わせて特定の応用目標を達成する。画像フュージョンの分野には、マルチフォーカス、マルチ露出、マルチモーダル、マルチビューフュージョンなど、いくつかのカテゴリーがあります。
ほとんどの最先端ソリューションは、特定のフュージョンカテゴリー（マルチビュー、マルチモーダル、マルチ露出、マルチフォーカスなど）に対応する手法の最適化に焦点を当てている。
しかし、ユースケースによっては、これらの課題すべてに対応できる普遍的な手法を必要とするものもある。このレビューの目的は、これらの領域を徹底的に理解するために、
様々な画像フュージョンカテゴリの詳細かつ詳細な分析を提供することである。さらに、この調査は、既存の文献ではあまり扱われていないマルチビュー画像融合手法を画像融合の包括的な概要に統合することを目的としています。
その目的は、異なるタイプの融合カテゴリーからの画像を含む画像融合問題に取り組むことができるマルチカテゴリー手法を強調することである。最後に、この分野が直面する様々な課題とともに、このカテゴリーの手法を発展させるための潜在的な方向性を提案する。
このサーベイでは、マルチカテゴリー手法に関連する問題をより良く理解するために、各画像融合カテゴリーを検証する。画像フュージョンの分野に貢献し、より効果的なマルチカテゴリー・ソリューションを開発するための貴重な洞察を研究者に提供する。
Mots Clés :
Keywords :
キーワード :
Fusion d'Image, Multi-Vue, Multi-Modal, Task Driven, Fusion Category
Image Fusion, Multi-View, Multi-Modal, Task-Driven, Fusion Category
画像フュージョン、マルチビュー、マルチモーダル、タスク駆動型、フュージョンカテゴリ
🏅 BrevetsPatents特許
Procede et dispositif pour inspecter des recipients selon au moins deux directions d'observation differentes en vue de classer les recipients
Method and device for inspecting containers in at least two different observation directions with a view to classifying the containers
容器を分類する目的で、少なくとも2つの異なる観察方向で容器を検査する方法及び装置
Inventeurs :
Inventors :
発明家 :
Bernardi Gwendal, Gourgeon Sylvain, Garin Jean-François
Date :
Date :
日付 :
02 Janvier 2025
02 January 2025
2025 年 01 月 02 日
Numéro de Brevet :
Patent Number :
特許番号 :
WO-2025003618A1
Résumé :
Abstract :
要旨 :
Procédé et dispositif pour inspecter des récipients selon au moins deux directions d'observation différentes en vue de classer les récipients
Procédé d'inspection de récipients en matériau transparent ou translucide (2) en vue de classer un récipient, le procédé comportant;
une phase d'utilisation comprenant : - l'acquisition pour chaque récipient, d'au moins une première et une deuxième images (Ic) d'au moins une
même portion d'un récipient selon deux directions d'observation différentes et selon au moins une modalité; - la fourniture en entrée d'un modèle
d'apprentissage profond (NN), pour chaque récipient, d'un enregistrement des au moins la première et la deuxième images d'au moins une portion du
récipient selon au moins une modalité et selon deux directions d'observation différentes; - et l'analyse par le modèle d'apprentissage profond,
pour chaque récipient, de cet enregistrement pour déterminer l'appartenance de cette portion de récipient, à une classe résultat parmi une liste de classes.
The invention relates to a method for inspecting containers made of transparent or translucent material (2) with a view to classifying a container,
the method including a use phase comprising: - acquiring, for each container, at least a first and a second image (Ic) of at least one given portion
of a container in two different observation directions and using at least one modality; - providing, as input for a deep learning model (NN), for each
container, a record of at least the first and the second image of at least one portion of the container using at least one modality and in two different observation directions;
- and the deep learning model analysing, for each container, this record in order to determine a result class, from among a list of classes, to which this container portion belongs.
本発明は、容器を分類する目的で、透明または半透明の材料で作られた容器 (2)を検査する方法に関し、この方法は、以下を含む使用段階を含む： - 各容器について、2つの異なる観察方向で、
少なくとも1つのモダリティを使用して、容器の少なくとも1つの所与の部分の少なくとも第1および第2の画像(Ic)を取得するステップと、ディープラーニングモデル (NN) の入力として、
各容器について、少なくとも1つの異なる観察方向で、少なくとも1つのモダリティを使用して、容器の少なくとも1つの部分の少なくとも第1および第2の画像の記録を提供するステップと、
ディープラーニングモデルが、各容器について、クラスのリストの中から、この容器の部分が属する結果クラスを決定するために、この記録を分析するステップと、を含む。
📜
Voir le brevet
View the patent
特許を見る