论文阅读总结-《Retinex-guided illumination recovery and progressive feature adaptation for real-world nighttime UAV-based vehicle detection》

论文解决的主要问题

解决无人机在夜间低光照条件下进行车辆检测时面临的图像质量差与小目标检测难的问题

第一点,现在的夜间图像增强方法一般仅为了优化人眼视觉感知,忽略了机器检测任务的实际需求,导致检测出错;

第二点,无人机高空拍摄导致图像中绝大多数车辆呈现为中、小尺度,传统检测模型计算量过大,在性能一般的无人机平台上运行比较困难。

 

ReDT-Det实现细节

ReDT-Det网络结构

这个网络主要改进了两个方面,第一个方面是图像增强(IFDT-Enhancer),第二个方面是目标检测(NightDrone-YOLO)

FDT-Enhancer

从上图可以看出,FDT-Enhancer有两部分组成,Illumination Estimator和Details Enhancer。一个是光照估计,另一个是细节增强。

Illumination Estimator基于Retinex理论的模块。它首先把输入的原图分解,算出一张Light feature map。

Details Enhancer利用了Transformer结构,结合了光照信息(Illumination Fusion)和差分信息(Differential),在提亮图像的同时,专门去恢复丢失的纹理细节。

NightDrone-YOLO

DR-CSP模块是用来提取特征的。目的是为了在特征提取时能有更大的感受野,同时不丢失小目标的细节。这对于无人机视角下那种密密麻麻的小车很重要。

DR-CSP模块结构

CFAA 是一个自适应调整模块。不同层级的特征图(P3, P4, P5)代表不同大小和抽象程度的信息。CFAA的作用就是把这些不同层级的特征“调和”好,让它们配合得更默契,避免信息冲突。

模型整体流程

  1. 输入一张无人机夜景图。
  2.  IFDT-Enhancer 先估算光照,然后通过 IFDTB 模块,把图提亮,同时把模糊的纹理修清楚,输出一张高质量的图。
  3. NightDrone-YOLO 用 DR-CSP 模块把图中的车辆特征提取出来。
  4. 为了不漏掉小车,SOAF 模块专门加强了小目标的特征,为了融合得更完美,CFAA 模块把不同尺度的特征进行了自适应调整。
  5. 输出精准地框出了夜间的每一辆车。

数据集以及对比实验

本论文使用的是NightDrone-Mix 数据集。NightDrone-Mix 数据集是基于 VisDrone-DET 和 UAVDT 这两个数据集的“夜间子集”筛选和重构而来的。

数据集名称 场景类型 图像数量 (约) 核心挑战
NightDrone-Mix 夜间无人机航拍 1,911 (训练+测试) 低光照、小目标、高噪点
VisDrone 白天/夜间混合 ~10,000+ 主要是白天,夜间样本很少
UAVDT 白天为主 ~100,000+ 侧重于跟踪,夜间场景很少

论文中通过实验证明,在 NightDrone-Mix数据集上,普通的YOLOv8/v11模型性能大幅下降,而 ReDT-Det 性能却非常好。

论文展示了不同网络模型在NightDrone-Mix数据集上的表现,可以看到ReDT-Det 整体性能相较于其他模型性能都要好。

以上的图是图像增强消融实验在NightDrone-Mix数据集上的表现,对比YOLOv11,整体提升一些。

以上的图是目标检测消融实验在NightDrone-Mix数据集上的表现。

结论

        ReDT-Det就是解决了如何让无人机在夜晚也能准确找到车辆的问题。论文是针对夜间光线差、车辆目标小等痛点,做了两件事,一是用基于Retinex的方法进行图像增强,摒弃减少噪点干扰;二是在检测环节专门优化了对小目标的识别能力。实验结果显示,这个模型在专门构建的NightDrone-Mix数据集上表现很好,比模型更精准,同时处理速度也快。
       论文还制作了NightDrone-Mix数据集。
       总之,ReDT-Det让无人机在黑夜中也能又快又准的进行目标检测。

暂无评论

发送评论 编辑评论


|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇