對於基礎設施而言，真正偉大的標誌是被它飛行容易被忽略。其表現得越好，我們考慮的就越少。例如，行動基礎設施只有在我們發現自己難以連結時，它的重要性才會浮現在我們的腦海中。正如當我們在一條嶄新的、剛剛鋪好路面的高速公路上行駛時，我們很少考慮路面，因為它靜靜地從我們的車輪下駛過。另一方面，一條養護不善的高速公路，我們遇到的每一個坑洞、草皮和崎嶇不平的路面，都會讓我們想起它的存在。
基礎設施只有在缺失、不足或損壞時才需要我們的關注。而在電腦視覺領域，基礎設施——或者更確切地說，它所缺少的東西——是目前許多人所關心的。
計算設定了基礎設施的標準
支撐每個AI/ML項目(包括電腦視覺)的是三個基本的開發支柱－資料、演算法/模型和計算。在這三大支柱中，計算是迄今為止擁有最強大和最牢固基礎設施的一個。憑藉數十年的專注企業投資和開發，雲端運算已成為整個企業 IT 環境中 IT 基礎設施的黃金標準——電腦視覺也不例外。
在「基礎設施即服務」模式下，近 20 年來，開發人員一直享受按需、即付即用的方式存取不斷擴大的運算能力管道。在此期間， 它透過顯著提高敏捷性、成本效率、可擴展性等，徹底改變了企業 IT。隨著專用機器學習 GPU 的出現，可以肯定地說，電腦視覺基礎設施堆疊的這一部分是生氣勃勃的。如果我們希望看到電腦視覺和 AI 充分發揮其潛力，明智的做法是使用計算作為 CV 基礎設施堆疊其餘部分所基於的模型。
模型驅動開發的沿襲和限制
直到最近，演算法和模型開發一直是電腦視覺和人工智慧發展的驅動力。在研究和商業開發方面，團隊辛勤工作多年，測試、修補和逐步改進 AI/ML 模型，並在Kaggle等開源社群分享他們的進步。透過專注於在演算法開發和建模上，電腦視覺和人工智慧領域在新千年的前二十年取得了長足的進步。
然而，近年來，這種進展已經放緩，因為以模型為中心的最佳化違背了收益遞減法則。此外，以模型為中心的方法有幾個限制。例如，你不能使用相同的資料進行訓練，然後再對模型進行訓練。在資料清理、模型驗證和訓練方面，以模型為中心的方法還需要更多的體力勞動，這可能會佔用寶貴的時間和資源來完成更具創新性的創收任務。
如今，透過Hugging Face等社區，CV 團隊可以免費且開放地存取大量複雜的大型演算法、模型和架構，每個都支援不同的核心CV 能力——從物件識別和臉部地標識別到姿勢估計和特徵匹配。這些資產已經變得與人們想像的一樣接近「現成」的解決方案——為電腦視覺和人工智慧團隊提供現成的白板，以針對任何數量的專業任務和用例進行訓練。
就像手眼協調這樣的基本人類能力可以應用於各種不同的技能並進行訓練——從打乒乓球到投球——這些現代ML 演算法也可以被訓練來執行一個範圍的具體應用。然而，雖然人類透過多年的實踐和汗水變得專業化，但機器透過資料訓練做到了這一點。
以資料為中心的人工智慧和大數據瓶頸
這促使許多人工智慧領域的領導者呼籲進入深度學習發展的新時代——在這個時代，進步的主要引擎是數據。就在幾年前，吳恩達(Andrew Ng)等人宣布以資料為中心是AI發展的方向。在這短暫的時間裡，該行業蓬勃發展。在短短幾年時間裡，湧現了大量電腦視覺的新穎商業應用和用例，涵蓋了廣泛的行業——從機器人和AR/VR，到汽車製造和家庭安全。
最近，我們使用以數據為中心的方法對汽車上的手握方向盤偵測進行了研究。我們的實驗表明，透過使用這種方法和合成數據，我們能夠識別並產生訓練資料集中缺乏的特定邊緣情況。
Datagen 為手握方向盤測試產生合成的圖像（圖片由來源：Datagen 提供）
雖然電腦視覺產業對數據議論紛紛，但並不是所有的討論都是狂熱的。儘管該領域已經確定了數據是前進的道路，但在前進的道路上還有許多障礙和陷阱，其中許多已經讓CV團隊步履蹣跚。最近一項針對美國電腦視覺專業人士的調查顯示，這一領域飽受長時間專案延誤、非標準化流程和資源短缺的困擾——所有這些都源於數據。在同一項調查中， 99% 的受訪者 表示，至少有一個CV項目因為訓練資料不足而被無限期取消。
即使是迄今為止避免了專案被取消的1%的幸運兒，也無法避免專案延遲。在調查中，每位受訪者都報告說，由於訓練資料不充分或不足，他們經歷了重大的專案延誤，其中80%的人報告延誤持續了3個月或更長時間。最終，基礎設施的目的是一種效用—促進、加速或傳達。在一個嚴重延誤只是做生意的一部分的世界裡，很明顯缺少一些重要的基礎設施。
傳統訓練資料挑戰基礎設施
然而，與運算和演算法不同，AI/ML 開發的第三個支柱並不適合基礎設施化——尤其是在電腦視覺領域，在這個領域，資料量大、雜亂無章，而且收集和管理時間和資源都非常密集。雖然有許多標記的、可在線免費獲得的視覺訓練資料資料庫（例如現在著名的 ImageNet 資料庫），但事實證明，它們本身不足以作為商業 CV 開發中訓練資料的來源。
這是因為，與透過設計概括的模型不同，訓練資料就其本質而言是特定於應用的。數據是將給定模型的一個應用與另一個應用區分開來的東西，因此不僅對於特定任務，而且對於執行該任務的環境或上下文必須是唯一的。與可以以光速生成和訪問的計算能力不同，傳統的視覺數據必須由人類創建或收集（通過在現場拍攝照片或在互聯網上搜索合適的圖像），然後經過精心清理和由人工標記（這是一個容易出現人為錯誤、不一致和偏見的過程）。
這就提出了一個問題，「我們如何製作既適用於特定應用又易於商品化（即快速、便宜和多功能）的可視化數據？」 儘管這兩種品質似乎相互矛盾，但潛在的解決方案已經出現；作為調和這兩種基本但看似不相容的品質的一種方式，它顯示出巨大的希望。
合成資料和完整CV 堆疊的路徑
電腦視覺（CV）是現代人工智慧的領先領域之一
製作具有特定應用且大規模節省時間和資源的視覺化訓練資料的唯一方法是使用合成資料。對於那些不熟悉這個概念的人來說，合成資料是人為生成的訊息，旨在忠實地代表一些現實世界的對等物。就視覺合成資料而言，這意味著以靜態影像或視訊形式的逼真的電腦生成的3D影像(CGI)。
為了回應資料中心時代出現的許多問題，一個新興的產業已經開始圍繞合成資料生成形成－一個不斷成長的生態系統，由中小型新創公司提供各種解決方案，利用合成數據來解決上面列出的一系列痛點。
這些解決方案中最有前景的解決方案使用 AI/ML 演算法產生逼真的 3D 影像，並為每個資料點自動產生相關的地面實況（即元資料）。因此，合成數據消除了通常長達數月的手動標記和註釋過程，同時也消除了人為錯誤和偏見的可能性。
在我們的論文（在NeurIPS 2021 上發表）中，使用合成數據發現面部地標檢測中的群體偏差，我們發現要分析經過訓練的模型性能並確定其弱點，必須留出一部分數據進行測試。測試集必須足夠大，以檢測關於目標群體中所有相關子組的統計顯著偏差。這項要求可能難以滿足，尤其是在資料密集型應用中。
我們建議透過產生合成測試集來克服這個困難。我們使用人臉標誌檢測任務來驗證我們的提議，方法是顯示在真實資料集上觀察到的所有偏差也可以在精心設計的合成資料集上看到。這表明合成測試集可以有效地檢測模型的弱點並克服真實測試集在數量或多樣性方面的限制。
如今，新創公司正在向企業 CV 團隊提供成熟的自助合成資料生成平台，以減輕偏見並允許擴展資料收集。這些平台允許企業 CV 團隊在計量、按需的基礎上產生特定於用例的訓練資料——彌合使傳統資料不適用於基礎設施化的特異性和規模之間的差距。
電腦視覺所謂的「資料管理員」的新希望
不可否認，這對電腦視覺領域來說是一個令人興奮的時刻。但是，就像任何其他不斷變化的領域一樣，這也是一個充滿挑戰的時代。傑出的人才和才華橫溢的頭腦湧入充滿想法和熱情的領域，卻發現自己因缺乏足夠的數據管道而受阻。這個領域深陷低效率的泥潭，以至於今天的資料科學家被稱為三分之一的組織已經在與技能差距作鬥爭的領域，我們不能浪費寶貴的人力資源。
合成資料為真正的訓練資料基礎設施打開了大門——有一天，它可能只需要打開水龍頭喝一杯水或提供計算就可以了。對於世界上的資料管理員來說，這肯定是一種受歡迎的茶點。
以上是資料管理已成為人工智慧發展的第一大瓶頸的詳細內容。更多資訊請關注PHP中文網其他相關文章！
