【YOLOv11多模态融合改进】| TGRS 2026 CIFusion 通道交互融合 全局通道自适应权重 + 双向残差模态互通,缓解模态互抑提升小目标精度

📅 发布时间:2026/9/7 19:16:17
【YOLOv11多模态融合改进】| TGRS 2026 CIFusion 通道交互融合 全局通道自适应权重 + 双向残差模态互通,缓解模态互抑提升小目标精度 一、本文介绍本文记录的是利用CIF通道交互融合模块改进YOLOv11的可见光-红外双模态目标检测。CIF(Channel Interaction Fusion)通过RGB-红外特征通道拼接、全局通道注意力权重生成与双向残差跨模态交互结合,动态分配两类模态通道贡献,搭建可见光纹理、红外热辐射双向互补信息流通通路。本文利用CIF模块,先将同尺度RGB、红外特征沿通道维度拼接,经全局平均池化与激活层生成逐通道自适应权重,过滤植被、云层等无效背景通道,再将加权特征拆分后以残差形式反向注入对侧模态分支,实现红外热特征修复可见光暗光噪声、RGB纹理补齐红外模糊车辆轮廓,针对性增强航拍微小车辆纹理与热辐射特征,强效抑制两类模态各自杂波通道带来的虚检干扰,在多尺度特征融合阶段解决传统静态拼接造成模态互相抑制、语义错位缺陷,轻量化设计不产生额外推理冗余,显著提升昼夜、遮挡、雾霾复杂航拍场景下车辆目标检测mAP与定位精度。专栏目录:《多模态模型改进》目录一览 | 专栏介绍 ,多模态的全方位改进,提供多模态模型改进完整项目包-开箱即用专栏地址:YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程!文章目录一、本文介绍二、CIFusion介绍2.1 设计出发点2.2 模块结构2.3 模块优势三、CIFusion实现代码四、添加步骤4.1 修改一4.2 修改二4.3 修改三五、yaml模型文件5.1 中期融合⭐5.2 中-后期融合⭐5.3 后期融合⭐六、成功运行结果二、CIFusion介绍2.1 设计出发点航拍可见光(RGB)与红外双模态图像存在天然互补性:RGB富含车辆纹理、色彩、边缘细节,但暗光、遮挡、雾霾场景信噪比极低;红外依靠热辐射凸显弱小车辆,但缺失精细轮廓、易受云层热杂波干扰。现有多模态融合存在三类关键缺陷:采用固定相加、简单通道拼接等静态融合方式,无自适应权重分配,RGB纹理极易淹没红外弱小目标热特征,或红外灰度覆盖RGB区分性细节;仅单向特征补充,缺少双向跨模态信息流通,两分支无法互相弥补自身缺陷,模态冲突严重;未从通道维度区分有效目标通道与无效背景通道,融合后杂波、冗余通道持续干扰航拍微小车辆检测,多尺度特征融合效果差。为此设计CIF通道交互融合模块,基于全局通道注意力生成动态模态权重,搭配双向残差交互机制,实现RGB、红外特征互相补偿、自适应加权融合,缓解模态错位与特征互相抑制问题,强化航拍弱小车辆多模态特征表达。2.2 模块结构CIF(Channel Interaction Fusion)适配RGB-红外双分支多尺度特征(P3/P4/P5),完整四步流水线:模态通道拼接:将同尺度RGB特征X i n R G B X_{in}^{RGB}