EDIF expliqué - Gwendal Bernardi

🎯 Introduction : Le défi de la perception multi-capteurs

La fusion d'images est au cœur de nombreux systèmes de vision par ordinateur modernes, de l'imagerie médicale à la conduite autonome en passant par la surveillance. En combinant des informations complémentaires provenant de sources hétérogènes, elle améliore la fiabilité de la perception dans des conditions difficiles : occlusions, faible luminosité, dégradation des capteurs.

Image fusion is at the heart of many modern computer vision systems, from medical imaging to autonomous driving and surveillance. By combining complementary information from heterogeneous sources, it improves perception reliability under challenging conditions: occlusions, low illumination, sensor degradation.

画像融合は、医療画像から自動運転、監視まで、多くの最新のコンピュータビジョンシステムの中核です。異種ソースからの補完情報を組み合わせることで、困難な条件下での知覚の信頼性を向上させます：オクルージョン、低照度、センサーの劣化。

Cependant, la plupart des approches existantes restent spécialisées :

However, most existing approaches remain specialized:

しかし、既存のアプローチのほとんどは専門化されたままです：

Fusion multi-modale : intègre des indices spectraux ou spécifiques aux capteurs (RGB + thermique, visible + infrarouge)
Fusion multi-vue : assure la cohérence géométrique entre plusieurs caméras
Multi-modal fusion: integrates spectral or sensor-specific cues (RGB + thermal, visible + infrared)

Multi-view fusion: ensures geometric consistency across multiple cameras
マルチモーダル融合：スペクトルまたはセンサー固有の手がかりを統合（RGB +サーマル、可視光+赤外線）
マルチビュー融合：複数のカメラ間の幾何学的一貫性を確保

Bien qu'efficaces dans leurs domaines respectifs, ces paradigmes sont généralement développés isolément et ne sont pas conçus pour généraliser entre les catégories de fusion. Pourtant, de nombreux systèmes de perception du monde réel combinent intrinsèquement les deux dimensions : imagerie médicale multi-modale multi-vue, plateformes de conduite autonome intégrant plusieurs capteurs et points de vue.

While effective within their respective domains, these paradigms are typically developed in isolation and are not designed to generalize across fusion categories. Yet, many real-world perception systems inherently combine both dimensions: multi-modal multi-view medical imaging, autonomous driving platforms integrating multiple sensors and viewpoints.

それぞれの領域内では効果的ですが、これらのパラダイムは通常独立して開発されており、融合カテゴリ間で一般化するように設計されていません。しかし、多くの実世界の知覚システムは、本質的に両方の次元を組み合わせています：マルチモーダル・マルチビュー医療画像、複数のセンサーと視点を統合する自動運転プラットフォーム。

❓ Le défi : Unifier multi-modal et multi-vue

Concevoir un framework unifié qui gère à la fois la fusion multi-modale et multi-vue pose plusieurs défis :

Designing a unified framework that handles both multi-modal and multi-view fusion poses several challenges:

マルチモーダルとマルチビューの両方の融合を処理する統一フレームワークを設計することは、いくつかの課題をもたらします：

🔴 Hétérogénéité des données

🔴 Data Heterogeneity

🔴 データの異質性

Les images provenant de différents capteurs (RGB, thermique, NIR, polarisation) ont des caractéristiques spectrales très différentes. Comment les représenter dans un espace commun ?

Images from different sensors (RGB, thermal, NIR, polarization) have very different spectral characteristics. How to represent them in a common space?

異なるセンサー（RGB、サーマル、NIR、偏光）からの画像は、非常に異なるスペクトル特性を持っています。それらを共通空間でどのように表現するか？

🔴 Alignement géométrique

🔴 Geometric Alignment

🔴 幾何学的アライメント

Les images multi-vues capturent la même scène sous différents angles. Comment apparier les objets correspondants malgré les changements de perspective ?

Multi-view images capture the same scene from different angles. How to match corresponding objects despite perspective changes?

マルチビュー画像は、異なる角度から同じシーンをキャプチャします。視点の変化にもかかわらず、対応するオブジェクトをどのようにマッチングするか？

🔴 Optimisation pour la tâche finale

🔴 Optimization for the Final Task

🔴 最終タスクのための最適化

La plupart des méthodes de fusion sont conçues indépendamment de la tâche finale (détection, segmentation...). Comment optimiser la fusion directement pour améliorer la détection d'objets ?

Most fusion methods are designed independently of the final task (detection, segmentation...). How to optimize fusion directly to improve object detection?

ほとんどの融合手法は、最終タスク（検出、セグメンテーションなど）とは独立して設計されています。物体検出を改善するために融合を直接最適化する方法は？

💡 L'intuition clé d'EDIF :

💡 EDIF's Key Intuition:

💡 EDIFの重要な直感：

Plutôt que de fusionner au niveau des pixels (comme les méthodes traditionnelles), EDIF formule la fusion comme un problème d'alignement au niveau des objets. Les images hétérogènes sont encodées comme des ensembles de keypoints (points clés), puis appariées et agrégées via un mécanisme d'attention graphique.

Rather than fusing at the pixel level (like traditional methods), EDIF formulates fusion as an object-level alignment problem. Heterogeneous images are encoded as sets of keypoints, then matched and aggregated via a graph attention mechanism.

従来の手法のようにピクセルレベルで融合するのではなく、EDIFは融合を オブジェクトレベルのアライメント問題として定式化します。異質な画像は キーポイントのセットとしてエンコードされ、その後グラフアテンション機構を介してマッチングおよび集約されます。

💡 La solution EDIF : Architecture et méthode

EDIF (End-to-end Detection-driven Image Fusion) propose une architecture unifiée qui traite la fusion comme un problème d'alignement au niveau des objets. Le framework se compose de trois modules principaux :

EDIF (End-to-end Detection-driven Image Fusion) proposes a unified architecture that treats fusion as an object-level alignment problem. The framework consists of three main modules:

EDIF（End-to-end Detection-driven Image Fusion）は、融合を オブジェクトレベルのアライメント問題として扱う統一アーキテクチャを提案します。フレームワークは3つの主要モジュールで構成されています：

Figure : Architecture complète d'EDIF montrant les trois modules principaux : TransPoint (extraction de keypoints), GANN (matching et grouping), et le décodeur avec tête de détection.

Figure: Complete EDIF architecture showing the three main modules: TransPoint (keypoint extraction), GANN (matching and grouping), and the decoder with detection head.

図： 3つの主要モジュールを示す完全なEDIFアーキテクチャ： TransPoint（キーポイント抽出）、GANN（マッチングとグルーピング）、検出ヘッド付きデコーダー。

🔧 Module 1 : TransPoint - Extracteur de keypoints

🔧 Module 1: TransPoint - Keypoint Extractor

🔧 モジュール1：TransPoint - キーポイント抽出器

Le module TransPoint transforme chaque image d'entrée (quelle que soit sa modalité) en un ensemble de keypoints. Chaque keypoint est caractérisé par :

The TransPoint module transforms each input image (regardless of its modality) into a set of keypoints. Each keypoint is characterized by:

TransPointモジュールは、各入力画像（モダリティに関係なく）をキーポイントのセットに変換します。各キーポイントは次のように特徴付けられます：

位置：画像内の座標（x、y）
Position: coordinates (x, y) in the image
Position : coordonnées (x, y) dans l'image

Descriptor: feature vector encoding local appearance
記述子：局所的な外観をエンコードする特徴ベクトル
Descripteur : vecteur de caractéristiques qui encode l'apparence locale

Score de confiance : probabilité que ce keypoint corresponde à un objet réel
Confidence score: probability that this keypoint corresponds to a real object
信頼度スコア：このキーポイントが実際のオブジェクトに対応する確率

🎯 Pourquoi des keypoints ?

🎯 Why keypoints?

🎯 なぜキーポイントなのか？

Les keypoints offrent une représentation compacte et invariante qui facilite l'appariement entre images hétérogènes. Contrairement aux pixels bruts, les keypoints capturent directement les structures sémantiques (objets) plutôt que les détails de bas niveau.

Keypoints offer a compact and invariant representation that facilitates matching between heterogeneous images. Unlike raw pixels, keypoints directly capture semantic structures (objects) rather than low-level details.

キーポイントは、異質な画像間のマッチングを容易にするコンパクトで不変な表現を提供します。生のピクセルとは異なり、キーポイントは低レベルの詳細ではなく、セマンティック構造（オブジェクト）を直接キャプチャします。

🔧 Module 2 : GANN - Graph Attention pour le matching

🔧 Module 2: GANN - Graph Attention for Matching

🔧 モジュール2：GANN - マッチングのためのグラフアテンション

Le module GANN (Graph Attention Neural Network) est le cœur de la fusion. Il prend en entrée les ensembles de keypoints de toutes les images et effectue :

The GANN (Graph Attention Neural Network) module is the heart of fusion. It takes as input the keypoint sets from all images and performs:

GANN（Graph Attention Neural Network）モジュールは融合の中核です。すべての画像からのキーポイントセットを入力として受け取り、次を実行します：

1️⃣ Matching (appariement)

1️⃣ Matching

1️⃣ マッチング

Pour chaque keypoint, le GANN calcule des scores d'attention avec tous les keypoints des autres images. Cela permet d'identifier quels keypoints correspondent au même objet.

For each keypoint, GANN computes attention scores with all keypoints from other images. This identifies which keypoints correspond to the same object.

各キーポイントについて、GANNは他の画像のすべてのキーポイントとのアテンションスコアを計算します。これにより、どのキーポイントが同じオブジェクトに対応するかを識別します。

2️⃣ Grouping (regroupement)

2️⃣ Grouping

2️⃣ グループ化

Les keypoints appariés sont regroupés pour former des représentations fusionnées qui agrègent l'information de toutes les modalités et vues.

Matched keypoints are grouped to form fused representations that aggregate information from all modalities and views.

マッチングされたキーポイントはグループ化され、すべてのモダリティとビューからの情報を集約する融合表現を形成します。

🔧 Module 3 : Décodeur et tête de détection

🔧 Module 3: Decoder and Detection Head

🔧 モジュール3：デコーダーと検出ヘッド

Les keypoints fusionnés sont passés à un décodeur qui prédit directement les boîtes englobantes (bounding boxes) et les classes d'objets. Tout le pipeline est end-to-end différentiable, ce qui permet d'optimiser conjointement l'extraction de keypoints, le matching et la détection.

The fused keypoints are passed to a decoder that directly predicts bounding boxes and object classes. The entire pipeline is end-to-end differentiable, allowing joint optimization of keypoint extraction, matching, and detection.

融合されたキーポイントは、バウンディングボックスとオブジェクトクラスを直接予測する デコーダーに渡されます。パイプライン全体が エンドツーエンドで微分可能であり、キーポイント抽出、マッチング、検出の共同最適化が可能です。

🎓 Stratégie d'apprentissage en trois étapes 🎓 Three-Stage Training Strategy 🎓 3段階トレーニング戦略

Pour entraîner efficacement EDIF, nous utilisons une stratégie d'apprentissage progressif en trois étapes qui aligne progressivement l'extraction de keypoints, la localisation d'objets et le regroupement cross-capteurs :

To effectively train EDIF, we use a three-stage progressive training strategy that progressively aligns keypoint extraction, object localization, and cross-sensor grouping:

EDIFを効果的にトレーニングするために、キーポイント抽出、オブジェクトローカリゼーション、クロスセンサーグループ化を段階的に調整する3段階の段階的トレーニング戦略を使用します：

Étape 1 : Pré-entraînement des keypoints

Stage 1: Keypoint Pretraining

ステージ1：キーポイント事前トレーニング

Objectif : Apprendre à extraire des keypoints cohérents entre différentes modalités.

Objective: Learn to extract consistent keypoints across different modalities.

目的：異なるモダリティ間で一貫したキーポイントを抽出することを学習します。

Méthode : Utilisation d'une perte de cohérence des descripteurs (descriptor consistency loss) pour s'assurer que les keypoints correspondant au même objet dans différentes images ont des descripteurs similaires.

Method: Using a descriptor consistency loss to ensure that keypoints corresponding to the same object in different images have similar descriptors.

方法：記述子一貫性損失を使用して、異なる画像内の同じオブジェクトに対応するキーポイントが類似した記述子を持つことを保証します。

Étape 2 : Localisation d'objets

Stage 2: Object Localization

ステージ2：オブジェクトローカリゼーション

Objectif : Apprendre à estimer la confiance que chaque keypoint corresponde à un objet réel.

Objective: Learn to estimate the confidence that each keypoint corresponds to a real object.

目的：各キーポイントが実際のオブジェクトに対応する信頼度を推定することを学習します。

Méthode : Entraînement avec des annotations de boîtes englobantes pour affiner les scores de confiance des keypoints.

Method: Training with bounding box annotations to refine keypoint confidence scores.

方法：バウンディングボックスアノテーションを使用してトレーニングし、キーポイントの信頼度スコアを改善します。

Étape 3 : Détection et regroupement cross-capteurs

Stage 3: Detection and Cross-Sensor Grouping

ステージ3：検出とクロスセンサーグループ化

Objectif : Optimiser conjointement le matching, la fusion et la détection finale.

Objective: Jointly optimize matching, fusion, and final detection.

目的：マッチング、融合、最終検出を共同で最適化します。

Méthode : Entraînement end-to-end de tout le pipeline avec la perte de détection (classification + régression des boîtes englobantes).

Method: End-to-end training of the entire pipeline with detection loss (classification + bounding box regression).

方法：検出損失（分類+バウンディングボックス回帰）を使用して、パイプライン全体をエンドツーエンドでトレーニングします。

💡 Pourquoi trois étapes ?

💡 Why three stages?

💡 なぜ3段階なのか？

Cette approche progressive permet au modèle d'apprendre des représentations de plus en plus complexes : d'abord l'alignement de base entre modalités, puis la localisation d'objets, et enfin la fusion complète pour la détection. Cela évite les problèmes de convergence qui surviendraient avec un entraînement direct end-to-end.

This progressive approach allows the model to learn increasingly complex representations: first basic alignment between modalities, then object localization, and finally complete fusion for detection. This avoids convergence issues that would occur with direct end-to-end training.

この段階的なアプローチにより、モデルはますます複雑な表現を学習できます：最初にモダリティ間の基本的なアライメント、次にオブジェクトローカリゼーション、最後に検出のための完全な融合。これにより、直接的なエンドツーエンドトレーニングで発生する収束の問題を回避します。

🛢️ Le dataset MMDOD : Un benchmark pour tester EDIF

Pour évaluer EDIF, nous avons créé le Multi-Modal and Multi-View Object Detection Dataset (MMDOD), un dataset unique qui combine :

To evaluate EDIF, we created the Multi-Modal and Multi-View Object Detection Dataset (MMDOD), a unique dataset that combines:

EDIFを評価するために、Multi-Modal and Multi-View Object Detection Dataset（MMDOD）を作成しました。これは次のものを組み合わせたユニークなデータセットです：

📊 StatistiquesStatistics統計

• 10,000+ images
• 21,469 annotations
• 8 classes d'objets
• 10,000+ images
• 21,469 annotations
• 8 object classes
• 10,000枚以上の画像
• 21,469個のアノテーション
• 8つのオブジェクトクラス

🎥 4 Modalités4 Modalities4つのモダリティ

• Visible (RGB)
• Proche infrarouge (NIR)
• Faible contraste
• Décalage de polarisation
• Visible (RGB)
• Near-infrared (NIR)
• Low contrast
• Polarization shift
• 可視光（RGB）
• 近赤外線（NIR）
• 低コントラスト
• 偏光シフト

📹 6 Points de vue6 Viewpoints6つの視点

• Caméras synchronisées
• Angles variés
• Calibration précise
• Annotations alignées
• Synchronized cameras
• Varied angles
• Precise calibration
• Aligned annotations
• 同期カメラ
• 多様な角度
• 正確なキャリブレーション
• 整列されたアノテーション

🌟 Pourquoi MMDOD est unique ?

🌟 Why is MMDOD unique?

🌟 MMDODがユニークな理由

MMDOD est le premier dataset qui combine simultanément plusieurs modalités ET plusieurs vues. Cela permet d'évaluer des méthodes de fusion dans des scénarios réalistes où les deux dimensions sont présentes, comme dans les systèmes de surveillance industrielle ou les véhicules autonomes.

MMDOD is the first dataset that simultaneously combines multiple modalities AND multiple views. This allows evaluating fusion methods in realistic scenarios where both dimensions are present, such as in industrial surveillance systems or autonomous vehicles.

MMDODは、複数のモダリティと複数のビューを同時に組み合わせた最初のデータセットです。これにより、産業監視システムや自動運転車など、両方の次元が存在する現実的なシナリオで融合手法を評価できます。

👉 En savoir plus sur le dataset MMDOD

👉 Learn more about the MMDOD dataset

👉 MMDODデータセットの詳細

📈 Résultats expérimentaux : Performances d'EDIF 📈 実験結果：EDIFの性能

EDIF a été évalué sur plusieurs benchmarks standards pour démontrer sa capacité à gérer la fusion multi-modale, multi-vue, et la combinaison des deux. Les résultats montrent qu'EDIF atteint des performances compétitives avec les méthodes spécialisées tout en étant le seul framework unifié.

EDIF was evaluated on several standard benchmarks to demonstrate its ability to handle multi-modal fusion, multi-view fusion, and the combination of both. Results show that EDIF achieves competitive performance with specialized methods while being the only unified framework.

EDIFは、マルチモーダル融合、マルチビュー融合、およびその両方の組み合わせを処理する能力を実証するために、いくつかの標準ベンチマークで評価されました。結果は、EDIFが唯一の統一フレームワークでありながら、 専門的な手法と競合する性能を達成することを示しています。

🔥 Fusion multi-modale (RGB + Thermique)

🔥 Multi-Modal Fusion (RGB + Thermal)

🔥 マルチモーダル融合（RGB +サーマル）

Résultats sur les benchmarks M3FD et FLIR (détection RGB-thermique) :

Results on M3FD and FLIR benchmarks (RGB-thermal detection):

M3FDおよびFLIRベンチマーク（RGB-サーマル検出）の結果：

Méthode	Method	手法
TarDAL	75.8	36.2
SeAFusion	77.1	37.4
EDIF (ours)	76.3	36.8

📹 Fusion multi-vue

📹 Multi-View Fusion

📹 マルチビュー融合

Résultats sur les benchmarks Wildtrack et MultiViewX (détection multi-caméra) :

Results on Wildtrack and MultiViewX benchmarks (multi-camera detection):

WildtrackおよびMultiViewXベンチマーク（マルチカメラ検出）の結果：

Méthode	Method	手法	MODA ↑	MODP ↑
MVDet	88.2	75.7	94.7	93.6
SHOT	90.2	76.5	96.9	93.3
EDIF (ours)	89.4	76.1	95.3	94.1

🌟 Fusion multi-modale ET multi-vue (MMDOD)

🌟 Multi-Modal AND Multi-View Fusion (MMDOD)

🌟 マルチモーダルとマルチビュー融合（MMDOD）

Résultats sur le benchmark MMDOD (le seul qui combine les deux dimensions) :

Results on the MMDOD benchmark (the only one combining both dimensions):

MMDODベンチマーク（両方の次元を組み合わせた唯一のもの）の結果：

Méthode	Method	手法	mAP@50	mAP@75
MVMM-DET	64.9	29.2
EDIF (ours)	79.7	38.5

✅ Ce que montrent ces résultats :

✅ What these results show:

✅ これらの結果が示すこと：

EDIF est compétitif avec les méthodes spécialisées sur les benchmarks multi-modaux et multi-vues
EDIF surpasse largement (+14.8 mAP@50) les méthodes existantes sur MMDOD, le seul benchmark combinant les deux dimensions
EDIF est le seul framework unifié capable de gérer tous ces scénarios avec une seule architecture
EDIF is competitive with specialized methods on multi-modal and multi-view benchmarks
EDIF significantly outperforms (+14.8 mAP@50) existing methods on MMDOD, the only benchmark combining both dimensions
EDIF is the only unified framework capable of handling all these scenarios with a single architecture
EDIFは、マルチモーダルおよびマルチビューベンチマークで専門的な手法と競合しています
EDIFは、両方の次元を組み合わせた唯一のベンチマークであるMMDODで既存の手法を大幅に上回ります（+14.8 mAP@50）
EDIFは、単一のアーキテクチャでこれらすべてのシナリオを処理できる唯一の統一フレームワークです

📖 Quelques références scientifiques 📖 Some Scientific References

Voici quelques travaux clés qui ont inspiré ou sont liés à EDIF :

Here are some key works that inspired or are related to EDIF:

EDIFにインスピレーションを与えた、または関連するいくつかの重要な研究：

TarDAL - Liu et al., "Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection", CVPR 2022
🔗 CVPR 2022

SeAFusion - Tang et al., "Image fusion in the loop of high-level vision tasks: A semantic-aware real-time infrared and visible image fusion network", Information Fusion 2022
🔗 ScienceDirect

MVDet - Hou et al., "Multiview Detection with Feature Perspective Transformation", ECCV 2020
🔗 ECCV 2020

🎓 Conclusion 🎓 Conclusion 🎓 結論

EDIF représente une avancée importante dans le domaine de la fusion d'images pour la détection d'objets. En unifiant la fusion multi-modale et multi-vue dans un seul framework end-to-end, EDIF ouvre la voie à des systèmes de perception plus robustes et plus complets pour les applications industrielles et robotiques.

EDIF represents an important advance in the field of image fusion for object detection. By unifying multi-modal and multi-view fusion in a single end-to-end framework, EDIF paves the way for more robust and comprehensive perception systems for industrial and robotic applications.

EDIFは、物体検出のための画像融合の分野における重要な進歩を表しています。マルチモーダルとマルチビューの融合を単一のエンドツーエンドフレームワークで統合することにより、 EDIFは産業用およびロボット用アプリケーションのためのより堅牢で包括的な知覚システムへの道を開きます。

🎯 Introduction : Le défi de la perception multi-capteurs 🎯 Introduction: The Multi-Sensor Perception Challenge 🎯 はじめに：マルチセンサー知覚の課題

❓ Le défi : Unifier multi-modal et multi-vue ❓ The Challenge: Unifying Multi-Modal and Multi-View ❓ 課題：マルチモーダルとマルチビューの統合