目录
表现比肩全监督方式
学习分两阶段进行
阶段一:片段级判别学习
阶段二:实例级完整性学习
首页 科技周边 人工智能 单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

Jan 11, 2024 pm 10:39 PM
ai 训练

如何从一段视频中找出感兴趣的片段?时序行为检测(Temporal Action Localization,TAL)是一种常用方法。

利用视频内容进行建模之后,就可以在整段视频当中自由搜索了。

而华中科技大学与密歇根大学的联合团队最近又为这项技术带来了新的进展——

过去TAL中的建模是片段甚至实例级的,而现在只要视频里的一帧就能实现,效果媲美全监督。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

来自华中科技大学的团队提出了一种名为HR-Pro的新框架,用于点标注监督的时序行为检测。

通过多层级的reliability propagation,HR-Pro可以网络学习到更具辨别力的片段级特征和更可靠的实例级边界。

HR-Pro由两个可靠性感知的阶段组成,它能够有效地从片段级别和实例级别的点标注中传播高置信度的线索,从而使网络学习到更具区分性的片段表示和更可靠的提议。

在多个基准数据集上进行的实验表明,HR-Pro优于现有方法,结果最先进,证明了其有效性和点标注的潜力。

表现比肩全监督方式

下图展示了HR-Pro与LACP在THUMOS14测试视频上进行时序行为检测表现比较。

HR-Pro展现出更了准确的动作实例检测,具体来说:

  • 对于“高尔夫挥杆”行为,HR-Pro有效地区分了行为和背景片段,减轻了LACP难以处理的False Positive预测;
  • 对于铁饼投掷行为,HR-Pro检测到比LACP更完整的片段,后者在非区分性动作片段上具有较低的激活值。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

数据集上的测试结果,也印证了这一直观感受。

将THUMOS14数据集上的检测结果可视化后可以观察到,在实例级别完整性学习之后,高质量预测和低质量预测之间的差异显著增大。

(左侧是实例级别完整性学习之前的结果,右侧是学习之后的结果。横轴和纵轴分别表示时间和可靠性分数。)

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

整体来看,在常用4个数据集中,HR-Pro的性能均大幅超越最先进的点监督方法,在THUMOS14数据集上的平均mAP达到60.3%,相较之前的SoTA方法(53.7%)的提升为6.5%,并且能与一些全监督方法达到相当的效果。

在THUMOS14测试集上与下表中的先前最先进方法相比,对于IoU阈值在0.1到0.7之间,HR-Pro的平均mAP为60.3%,比先前最先进方法CRRC-Net高6.5%。

并且HR-Pro能够与具有竞争力的全监督方法达到相当的表现,例如AFSD(对于IoU阈值在0.3到0.7之间,平均mAP为51.1% vs. 52.0%)。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

△HR-Pro与前SOTA方法在THUMOS14数据集上的对比

在各种基准数据集上的通用性和优越性方面,HR-Pro也明显优于现有方法,在GTEA、BEOID和ActivityNet 1.3上分别取得了3.8%、7.6%和2.0%的提高。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

△HR-Pro与前SOTA方法在GTEA等数据集上的对比

那么,HR-Pro具体是如何实现的呢?

学习分两阶段进行

研究团队提出了多层级可靠传播方法,在片段级引入可靠片段记忆模块并利用交叉注意力的方法向其他片段传播,在实例级提出基于点监督的提议生成来关联片段和实例,用于产生不同可靠度的proposals,进一步在实例级优化proposals的置信度和边界。

HR-Pro的模型结构如下图所示:时序行为检测被划分为两阶段的学习过程,即片段级别的判别性学习实例级别的完整性学习

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

阶段一:片段级判别学习

研究团队引入可靠性感知的片段级判别学习,提出为每个类别存储可靠原型,并通过视频内和视频间的方式将这些原型中的高置信度线索传播到其他片段。

片段级可靠原型构建

为了构建片段级别的可靠原型,团队创建了一个在线更新的原型memory,用于存储各类行为的可靠原型mc(其中 c = 1, 2, …, C),以便能够利用整个数据集的特征信息。

研究团队选择了具有点标注的片段特征初始化原型:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

接下来,研究人员使用伪标记的行为片段特征来更新每个类别的原型,具体表述如下:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

片段级可靠性感知优化

为了将片段级可靠原型的特征信息传递到其他片段,研究团队设计了一个Reliabilty-aware Attention Block(RAB),通过交叉注意力的方式实现了将原型中的可靠信息注入到其他的片段中,从而增强片段特征的鲁棒性,并增加对较不具有判别力片段的关注。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

为了学习到更加具有判别里的片段特征,团队还构建了可靠性感知的片段对比损失:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

阶段二:实例级完整性学习

为了充分探索实例级别行为的时序结构并优化提议的得分排名,团队引入了实例级别的动作完整性学习。

这种方法旨在通过可靠的实例原型的指导,通过实例级别的特征学习来精化提议的置信度得分和边界。

实例级可靠原型构建

为了在训练过程中利用点标注的实例级别先验信息,团队提出了一种基于点标注的提议生成方法用于生成不同Reliability的proposals。

根据其可靠性分数和相对点标注的时序位置,这些提议可以分为两种类型:

  • 可靠提议(Reliable Proposals, RP):对于每个类别中的每个点,提议包含了这个点,并具有最高的可靠性;
  • 正样本提议(Positive Proposals, PP):所有其余的候选提议。

为确保正样本和负样本数量平衡,研究团队将那些具有类别无关的注意力分数低于预定义值的片段分组为负样本提议(Negative Proposals, NP)。

实例级可靠性感知优化

为了预测每个提议的完整性分数,研究团队将敏感边界的提议特征输入至得分预测头φs:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

然后用正/负样本提议与可靠提议的IoU作为指导,监督提议的完整性分数预测:

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

为了获得更准确边界的行为proposal,研究者将每个PP中的proposal的起始区域特征和结束区域特征输入到回归预测头φr中,以预测proposal开始和结束时间的偏移量。

进一步计算得到精细化的proposals,并希望精细化后的proposals与可靠proposal重合。

单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA
单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA
单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA

总之,HR-Pro只需很少的标注就能很好的效果大幅度降低了获取标签的成本,同时又拥有较强的泛化能力,为实际部署应用提供了有利条件。

据此,作者预计,HR-Pro将在行为分析、人机交互、驾驶分析等领域拥有广阔的应用前景。

论文地址:https://arxiv.org/abs/2308.12608

以上是单帧标注视频就能学到片段特征,达到全监督性能!华科拿下时序行为检测新SOTA的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

2025年币圈十大虚拟币app交易所最新排行榜 2025年币圈十大虚拟币app交易所最新排行榜 Mar 27, 2025 pm 07:27 PM

2025年十大虚拟币交易App排行榜如下:1. OKX,2. Binance,3. Gate.io,4. Bybit,5. Kraken,6. KuCoin,7. Bitget,8. HTX,9. MEXC,10. Coinbase。该排行榜基于安全性、流动性、用户体验和功能丰富度等综合评测得出。

十大数字虚拟货币交易所app榜单汇总2025年 十大数字虚拟货币交易所app榜单汇总2025年 Mar 27, 2025 pm 07:18 PM

2025年十大数字虚拟币交易App排行榜如下:1. OKX,2. Binance,3. Gate.io,4. Bybit,5. Kraken,6. KuCoin,7. Bitget,8. HTX,9. MEXC,10. Coinbase。该排行榜基于安全性、流动性、用户体验和功能丰富度等综合评测得出。

哪些交易所发布pi消息 哪些交易所发布pi消息 Mar 28, 2025 pm 03:33 PM

Pi Network尚未在主流交易所正式上线交易。截至2024年,Pi仍处于封闭主网阶段,仅部分中小型交易所提供IOU交易,官方未授权任何交易,建议通过官方渠道挖矿并等待主网开放后在合规交易所交易。

安全好用的虚拟币交易所平台top10 安全好用的虚拟币交易所平台top10 Mar 27, 2025 pm 07:06 PM

2025年十大虚拟币交易App排行榜如下:1. OKX,2. Binance,3. Gate.io,4. Bybit,5. Kraken,6. KuCoin,7. Bitget,8. HTX,9. MEXC,10. Coinbase。该排行榜基于安全性、流动性、用户体验和功能丰富度等综合评测得出。

哪些交易所支持heco 哪些交易所支持heco Mar 28, 2025 pm 03:36 PM

截至2024年,仍支持Heco链或Heco代币的主要交易所有:1. HTX(原火币Huobi),官方支持Heco链USDT和代币交易;2. MDEX,基于Heco的DEX,支持Heco链代币交易;3. Gate.io,支持部分Heco链代币的充提;4. KuCoin,部分Heco链代币仍可交易;5. 去中心化交易所如PancakeSwap和Uniswap,需跨链交易,注意Heco链流动性低且项目迁移情况。

如何在Node.js环境中解决第三方接口返回403的问题? 如何在Node.js环境中解决第三方接口返回403的问题? Mar 31, 2025 pm 11:27 PM

在Node.js环境中解决第三方接口返回403的问题当我们在使用Node.js调用第三方接口时,有时会遇到接口返回403错误�...

在 Laravel 中,如何处理邮件发送验证码失败的情况? 在 Laravel 中,如何处理邮件发送验证码失败的情况? Mar 31, 2025 pm 11:48 PM

Laravel邮件发送验证码失败时的处理方法在使用Laravel...

如何在系统重启后自动设置unixsocket的权限? 如何在系统重启后自动设置unixsocket的权限? Mar 31, 2025 pm 11:54 PM

如何在系统重启后自动设置unixsocket的权限每次系统重启后,我们都需要执行以下命令来修改unixsocket的权限:sudo...

See all articles