近期，基於 Transformer 的演算法被廣泛應用於電腦視覺的各類任務中，但該類別演算法在訓練資料量較小時容易產生過擬合問題。現有 Vision Transformer 通常直接引入 CNN 中常用的 Dropout 演算法作為正則化器，其在註意力權重圖上進行隨機 Drop 並為不同深度的注意力層設置統一的 drop 機率。儘管 Dropout 十分簡單，但這種 drop 方式主要面臨三個主要問題。 首先，在softmax 歸一化後進行隨機Drop 會打破注意力權重的機率分佈並且無法對權重峰值進行懲罰，從而導致模型仍會過擬合於局部特定資訊（如圖1）。其次，網路深層較大的 Drop 機率會導致高層語意資訊缺失，而淺層中較小的 drop 機率會導致過度擬合於底層細節特徵，因此恆定的 drop 機率會導致訓練過程的不穩定。最後，CNN 中常用的結構化 drop 方式在 Vision Transformer 上的有效性並不明朗。 
#美圖影像研究院（MT Lab）與中國科學院大學在CVPR 2023 上發表了一篇文章，提出一種新穎且即插即用的正則化器DropKey，該正則化器可以有效緩解Vision Transformer 中的過度擬合問題。 
Ссылка на документ: https://arxiv.org/abs/2208.02646Следующие три основных вопроса обсуждаются в статья Исследовано: #Во-первых, какую информацию следует поместить в слой внимания? В отличие от прямого сброса веса внимания, этот метод выполняет операцию сброса перед вычислением матрицы внимания и использует ключ в качестве базовой единицы сброса. Этот метод теоретически подтверждает, что регуляризатор DropKey может наказывать области с повышенным вниманием и назначать веса внимания другим областям, представляющим интерес, тем самым улучшая способность модели собирать глобальную информацию. Во-вторых, как установить вероятность выпадения? По сравнению со всеми слоями, имеющими одну и ту же вероятность падения, в этой статье предлагается новый метод настройки вероятности падения, который постепенно уменьшает значение вероятности падения по мере углубления слоя самообслуживания. В-третьих, необходимо ли выполнять структурированную операцию удаления, такую как CNN? В этом методе был опробован подход структурированного перетаскивания, основанный на блочных и перекрестных окнах, и было обнаружено, что этот метод не важен для Vision Transformer. Vision Transformer (ViT) — это новая технология в последних моделях компьютерного зрения. Парадигма широко используется в таких задачах, как распознавание изображений, сегментация изображений, обнаружение ключевых точек человеческого тела и взаимное обнаружение людей. В частности, ViT делит изображение на фиксированное количество блоков изображения, рассматривает каждый блок изображения как базовую единицу и вводит механизм самообслуживания с несколькими головками для извлечения информации об объектах, содержащей взаимные отношения. Однако существующие методы, подобные ViT, часто страдают от проблем переобучения на небольших наборах данных, то есть они используют только локальные функции цели для выполнения определенных задач.
Чтобы преодолеть вышеуказанные проблемы, в этой статье предлагается готовый к использованию регуляризатор DropKey, который можно реализовать с помощью всего двух строк кода для облегчения использования метода класса ViT. Проблема переобучения. В отличие от существующего Dropout, DropKey устанавливает Key для перетаскиваемого объекта и теоретически и экспериментально подтвердил, что это изменение может наказывать части с высокими значениями внимания, одновременно побуждая модель уделять больше внимания другим фрагментам изображения, связанным с целью, что полезно для захвата глобальных надежных функций. Кроме того, в документе также предлагается установить уменьшающиеся вероятности падения для постоянно углубляющихся слоев внимания, что позволяет избежать переобучения модели низкоуровневыми функциями, обеспечивая при этом достаточное количество высокоуровневых функций для стабильного обучения. Кроме того, в статье экспериментально доказано, что метод структурированной капли не является необходимым для ВиТ.
Чтобы изучить основные причины проблем переобучения, Данное исследование Во-первых, механизм внимания формализуется как простая цель оптимизации и анализируется его лагранжева форма разложения. Было обнаружено, что при постоянной оптимизации модели пятнам изображений с большей долей внимания на текущей итерации будет иметь тенденцию присваиваться больший вес внимания на следующей итерации. Чтобы решить эту проблему, DropKey неявно назначает адаптивный оператор каждому блоку внимания, случайным образом удаляя часть ключа, чтобы ограничить распределение внимания и сделать его более плавным. Стоит отметить, что по сравнению с другими регуляризаторами, предназначенными для конкретных задач, DropKey не требует ручного проектирования. Поскольку на этапе обучения в ключе выполняются случайные сбросы, что приведет к несогласованным ожидаемым результатам на этапах обучения и тестирования, этот метод также предлагает использовать методы Монте-Карло или методы точной настройки для согласования ожидаемых результатов. Более того, для реализации этого метода требуется всего две строки кода, как показано на рисунке 2. 
Рис. 2. Метод реализации DropKey Вообще говоря, ViT будет накладывать несколько уровней внимания для постепенного изучения многомерных функций. Обычно более мелкие слои извлекают низкоразмерные визуальные особенности, а глубокие слои предназначены для извлечения грубой, но сложной информации о пространстве моделирования. Поэтому в этом исследовании делается попытка установить меньшую вероятность падения для глубоких слоев, чтобы избежать потери важной информации о целевом объекте. В частности, DropKey не выполняет случайные сбросы с фиксированной вероятностью на каждом уровне, а постепенно снижает вероятность сбросов по мере увеличения количества слоев. Кроме того, исследование показало, что этот подход не только работает с DropKey, но и значительно повышает производительность Dropout. Хотя метод структурированного сброса был подробно изучен в CNN, влияние этого метода на производительность ViT не изучалось. Чтобы выяснить, приведет ли эта стратегия к дальнейшему повышению производительности, в документе реализованы две структурированные формы DropKey, а именно DropKey-Block и DropKey-Cross. Среди них DropKey-Block удаляет непрерывную область в квадратном окне с центром в исходной точке, а DropKey-Cross удаляет непрерывную крестообразную область с центром в исходной точке, как показано на рисунке 3. Однако исследование показало, что подход структурированного снижения не привел к улучшению производительности. 
##Рис. 3 Структурированный метод реализации DropKey
#Рис. 4. Сравнение эффективности DropKey и Dropout при сравнении CIFAR10/100
#Рис. 5. Сравнение эффектов визуализации карты внимания DropKey и Dropout на CIFAR100
Рис. 6. Сравнение производительности различных стратегий настройки вероятности падения
Рис. 7. Сравнение производительности различных стратегий выравнивания ожидаемых результатов
Рис. 8. Сравнение производительности различных методов структурированного удаления
##Рис. 9. Сравнение производительности DropKey и Dropout в ImageNet
Рис. 10. Сравнение производительности DropKey и Dropout на COCO
##Рис. 11. Сравнение производительности DropKey и Dropout на HICO-DET
##Рис. 12. Сравнение производительности DropKey и Dropout на HICO-DET
Рис. 13 Визуальное сравнение карт внимания между DropKey и Dropout на HICO-DET#В этой статье новаторски предлагается регуляризатор для ViT, чтобы облегчить проблему переобучения ViT. По сравнению с существующими регуляризаторами, этот метод может обеспечить плавное распределение внимания для слоя внимания, просто установив Key в качестве перетаскиваемого объекта. Кроме того, в статье также предлагается новая стратегия установки вероятности падения, которая успешно стабилизирует тренировочный процесс, одновременно эффективно уменьшая переобучение. Наконец, в статье также исследуется влияние методов структурированного падения на производительность модели. 以上是CVPR 2023｜美圖&國科大聯合提出DropKey正規化方法：用兩行程式碼高效避免視覺Transformer過擬合問題的詳細內容。更多資訊請關注PHP中文網其他相關文章！
##Рис. 12. Сравнение производительности DropKey и Dropout на HICO-DET
