固定參數的模型有多大潛力？港中文、上海AI Lab等提出高效視訊理解框架EVL

視覺基礎模型近兩年取得了矚目發展。從一方面而言，基於大規模互聯網資料的預訓練已經為模型預置了大量的語義概念，從而具有良好的泛化性能；但另一方面，為充分利用大規模資料集帶來的模型尺寸成長，使得相關模型在遷移到下游任務時面臨低效率問題，尤其是對於需要處理多幀的視訊理解模型。

• 論文連結：https://arxiv.org/abs/2208.03550
• #程式碼連結：https://github.com/OpenGVLab/efficient-video-recognition

基於上述兩方面特點，來自香港中文大學、上海人工智慧實驗室等機構的研究者提出了高效的視訊理解遷移學習框架EVL，透過固定骨幹基礎模型的權重，節省了訓練計算量和記憶體消耗；同時透過利用多層次、細粒度的中間特徵，盡可能保持了傳統端對端微調的彈性。

下圖 1 展示了 EVL 方法在視訊理解資料集 Kinetics-400 上的結果。實驗顯示，本文方法在節省訓練開銷的同時，仍充分發掘了視覺基礎模型在影片理解任務中的潛力。

圖 1：Kinetics-400 辨識精確度比較，橫軸為推理計算量，縱軸為精確度。

方法

演算法的整體示意圖如圖 2（a）所示。對於一個視訊樣本，我們取其中的 T 幀輸入一個影像辨識網路（以 CLIP 為例）並提取特徵。與傳統方法相比，我們從圖像識別網路的最後幾層中提取多層、未池化的特徵，從而獲取更豐富、更細粒度的圖像資訊；並且圖像識別網路的參數權重在視訊學習中始終保持固定。隨後，多層特徵圖依序輸入一個 Transformer 解碼器進行視訊級資訊聚合。經過多層解碼後的 [CLS] 特徵將用於產生最終的分類預測。

如圖2（b）所示，由於Transformer 解碼器聚合特徵時的無序性，我們在網路中加入了額外的時序資訊建模模組，以更好地提取位置有關的細粒度時序資訊。具體而言，我們添加3 個額外的位置有關時序資訊：第一是時間位置嵌入（Position Embeddings），第二是時間維度深度可分卷積（Depthwise Convolution），第三是相鄰幀間的注意力資訊。對於幀間注意力訊息，我們從影像辨識網路中提取對應層的Query 和Key 特徵，並在相鄰影格之間計算注意力圖（不同於影像辨識網路中，注意力圖是由來自同一畫面內的Query和Key 特徵得到）。所得的注意力圖能顯式地反映出相鄰影格之間物體的位置變化。注意力圖經過線性投影後得到反應物體位移特徵的向量組，並以逐元素相加的形式融合入影像特徵中。

圖 2：EVL 演算法結構圖。 （a）整體結構，（b）時序資訊建模模組。

#圖3：幀間注意力特徵的數學表達。

实验

在图 1 和表 1 中，我们引用了之前视频理解中的部分重要方法。尽管着力于减小训练开销，我们的方法仍然能在精度方面领先于现有方法（相同计算量下）。

表 2 中我们展示了固定骨干网络带来的训练开销降低。内存方面，在 V100 16GB GPU 上，固定骨干网络可以使单卡 batch size 最高达到 64，而端到端训练则只能达到 8；时间方面，固定骨干网络可以节省 3 至 4 倍的训练时间。

表 3 中我们展示了细粒度特征图对识别性能的提升。多层的未经池化特征使得我们在固定骨干网络权值时仍然能保持相当程度的灵活性。使用未经池化的特征带来的提升最为显著（大约 3%），其次，使用多层解码器和中间层特征也能分别带来大约 1% 的性能提升。

最后我们在表 4 中展示了细粒度时序信息模块的效果。尽管细粒度时序信息对 Kinetics-400 的性能影响有限，但它们对于 Something-Something-v2 的性能十分重要：3 种细粒度时序信息模块在 Kinetics-400 和 Something-Something-v2 上分别合计带来大约 0.5% 和大约 14% 的性能提升。

表 1：Kinetics-400 上与现有方法的对比结果

表 2：固定骨干网络权重带来的训练开销降低

表 3：细粒度特征图对精度的影响

表 4：细粒度时序信息建模在不同数据集上的效果

总结

本文提出了 EVL 视频理解学习框架，首次展示了固定的图像骨干网络在视频理解问题上的巨大潜力，也使得高性能的视频理解对于计算资源有限的研究群体更加友好。我们也相信随着视觉基础模型在质量及规模上的提升，我们的方法能为后续的轻量级迁移学习算法研究提供参考。

以上是固定參數的模型有多大潛力？港中文、上海AI Lab等提出高效視訊理解框架EVL的詳細內容。更多資訊請關注PHP中文網其他相關文章！