ImageNet零樣本準確率首次超過80%,地表最強開源CLIP模型更新
雖然ImageNet早已完成歷史使命,但在電腦視覺領域仍是關鍵的資料集。
2016年,在ImageNet上訓練後的分類模型,sota準確率仍不到80%;時至今日,僅靠大規模預訓練模型的zero-shot泛化就能達到80.1%的準確率。
最近LAION使用開源程式碼OpenCLIP框架訓練了一個全新的 ViT-G/14 CLIP 模型,在ImageNet資料集上,原版OpenAI CLIP的準確率只有75.4%,而OpenCLIP實現了80.1% 的zero-shot準確率,在MS COCO 上實現了74.9% 的zero-shot影像檢索(Recall@5),這也是目前效能最強的開源CLIP 模型。
LAION全稱為Large-scale Artificial Intelligence Open Network,是一家非營利組織,其成員來自世界各地,旨在向公眾提供大規模機器學習模型、資料集和相關程式碼。他們聲稱自己是真正的Open AI,100%非營利且100%免費。
有興趣的小夥伴可以把手頭的CLIP模型更新版本了!
模型位址:https://huggingface.co/laion/CLIP-ViT-bigG-14 -laion2B-39B-b160k
OpenCLIP模型在各個資料集上具體的效能如下表所示。
Zero-shot能力
一般來說,電腦視覺(CV)模型在各個任務上的sota表現都是基於特定領域的訓練數據,無法泛化到其他領域或任務中,導致對視覺世界的通用屬性理解有限。
泛化問題對於那些缺乏大量訓練資料的領域尤其重要。
理想情況下,CV模型應該學會圖像的語意內容,而不是過度關注訓練集中的特定標籤。例如對於狗的圖像,模型應該能夠理解圖像中有一隻狗,更進一步來理解背景中有樹、時間是白天、狗在草地上等等。
但當下採用「分類訓練」得到的結果與預期正好相反,模型學習將狗的內部表徵推入相同的「狗向量空間」,將貓推入相同的「貓向量空間」,所有的問題的答案都是二元,即圖像是否能夠與一個類別標籤對齊。
對新任務重新訓練一個分類模型也是一種方案,但是訓練本身需要大量的時間和資金投入來收集分類資料集以及訓練模型。
幸運的是,OpenAI 的CLIP模型是一個非常靈活的分類模型,通常不需要重新訓練即可用於新的分類任務中。
CLIP為何能Zero-Shot
對比語言-影像預訓練(CLIP, Contrastive Language-Image Pretraining)是 OpenAI 於2021年發布的一個主要基於Transformer的模型。
CLIP 由兩個模型組成,一個Transformer編碼器用於將文字轉換為embedding,以及一個視覺Transformer(ViT)用於對圖像進行編碼。
CLIP內的文字和圖像模型在預訓練期間都進行了最佳化,以在向量空間中對齊相似的文字和圖像。在訓練過程中,將資料中的圖像-文字對在向量空間中將輸出向量推得更近,同時分離不屬於一對的圖像、文字向量。
CLIP與一般的分類模型之間有幾個差異:
首先,OpenAI 使用從網路上爬取下來的包含4億文字-圖像對的超大規模資料集進行訓練,其好處在於:
1. CLIP的訓練只需要「圖像-文字對」而不需要特定的類別標籤,而這種類型的數據在當今以社交媒體為中心的網路世界中非常豐富。
2. 大型資料集意味著 CLIP 可以對圖像中的通用文字概念進行理解的能力。
3. 文字描述(text descriptor)中往往包含圖像中的各種特徵,而不只是一個類別特徵,也就是說可以建立一個更全面的圖像和文字表徵。
上述優勢也是CLIP其建立Zero-shot能力的關鍵因素,論文的作者也對比了在ImageNet上專門訓練的ResNet-101模型和CLIP模型,將其應用於從ImageNet 派生的其他數據集,下圖為效能比較。
可以看到,儘管ResNet-101是在ImageNet上進行訓練的,但它在相似資料集上的效能比CLIP 在相同任務上的表現差得多。
在將ResNet 模型應用於其他領域時,一個常用的方法是「linear probe」(線性探測),即將ResNet模型最後幾層所學到的特性輸入到一個線性分類器中,然後針對特定的資料集進行微調。
在CLIP論文中,線性偵測ResNet-50與zero-shot的CLIP 進行了對比,結論是在相同的場景中,zero-shot CLIP 在多個任務中的效能都優於在ResNet -50中的線性探測。
不過值得注意的是,當給定更多的訓練樣本時,Zero-shot並沒有優於線性探測。
用CLIP做Zero-shot分類
從上面的描述可以知道,圖像和文字編碼器可以建立一個512維度的向量,將輸入的圖像和文字輸入映射到相同的向量空間。
用CLIP做Zero-shot分類也就是把類別資訊放入文字句子中。
舉個例子,輸入一張圖像,想要判斷其類別為汽車、鳥或貓,就可以創建三個文字字串來表示類別:
T1代表車:a photo of a car
T2代表鳥:a photo of a bird
T3代表貓:a photo of a cat
將類別描述輸入到文字編碼器中,就可以得到可以代表類別的向量。
假設輸入的是一張貓的照片,用ViT 模型對其進行編碼獲取圖像向量後,將其與類別向量計算餘弦距離作為相似度,如果與T3的相似度最高,就代表圖像的類別屬於貓。
可以看到,類別標籤並不是一個簡單的詞,而是基於模板「a photo of a {label}」 的格式重新改寫為一個句子,從而可以擴展到不受訓練限制的類別預測。
實驗中,使用此prompt模板在ImageNet的分類準確性上提高了1.3個百分點,但prompt模板並不總是能提高性能,在實際使用中需要根據不同的數據集進行測試。
Python實作
想要快速使用CLIP做zero-shot分類也十分容易,作者選取了Hugging Face中的frgfm/imagenette資料集作為演示,該資料集包含10個標籤,且全部儲存為整數值。
使用 CLIP進行分類,需要將整數值標籤轉換為對應的文字內容。
在直接將標籤和照片進行相似度計算前,需要初始化 CLIP模型,可以使用透過 Hugging Face transformers找到的 CLIP 實作。
文本transformer無法直接讀取文本,而是需要一組稱為token ID(或input _ IDs)的整數值,其中每個唯一的整數表示一個word或sub-word(即token)。
將轉換後的tensor輸入到文字transformer中可以取得標籤的文字embedding
注意,目前CLIP輸出的向量還沒有經過歸一化(normalize),點乘後所獲得的相似性結果是不準確的。
下面就可以選擇一個資料集中的影像作測試,經過相同的處理過程後取得到影像向量。
將影像轉換為尺寸為(1, 3, 224, 224)向量後,輸入到模型中即可獲得embedding
下一步是計算圖像embedding和資料集中的十個標籤文字embedding之間的點積相似度,得分最高的即是預測的類別。
模型給出的結果為cassette player(卡帶播放器),在整個資料集再重複運行一遍後,可以得到準確率為98.7%
#除了Zero-shot分類,多模態搜尋、目標偵測、 生成式模型如OpenAI 的Dall-E 和Stable disusion,CLIP打開了電腦視覺的新大門。
以上是ImageNet零樣本準確率首次超過80%,地表最強開源CLIP模型更新的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

今天我想分享一個最新的研究工作,這項研究來自康乃狄克大學,提出了一種將時間序列資料與自然語言處理(NLP)大模型在隱空間上對齊的方法,以提高時間序列預測的效果。此方法的關鍵在於利用隱空間提示(prompt)來增強時間序列預測的準確性。論文標題:S2IP-LLM:SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting下載網址:https://arxiv.org/pdf/2403.05798v1.pdf1、問題背景大模型

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

這篇論文探討了在自動駕駛中,從不同視角(如透視圖和鳥瞰圖)準確檢測物體的問題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉換特徵,這一轉換是透過視覺轉換(VT)模組實施的。現有的方法大致分為兩種策略:2D到3D和3D到2D轉換。 2D到3D的方法透過預測深度機率來提升密集的2D特徵,但深度預測的固有不確定性,尤其是在遠處區域,可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵,並透過Transformer學習3D和2D特徵之間對應關係的注意力權重,這增加了計算和部署的
