利用邊緣生物特徵開發人工智慧安全系統
譯者 | 朱先忠
審校| 孫淑娟
工作區安全可能是公司中一種費力又費時的資金流失管道,特別是對於處理敏感資訊或擁有數千名員工的多個辦公室的公司而言。電子鑰匙是安全系統自動化的標準選擇之一,但實際上,仍有諸如遺失、遺忘或偽造鑰匙等不少缺點。
生物辨識技術是傳統安全措施的可靠替代品,因為它們代表了「你是什麼」身分驗證的概念。這意味著,使用者可以使用他們獨特的特徵,如指紋、虹膜、聲音或臉部,來證明他們能夠進入某個空間。使用生物特徵作為身份驗證方法可以確保金鑰不會遺失、遺忘或偽造。因此,在本文中,我們將談談我們在邊緣生物特徵方面的開發經驗,這是邊緣設備、人工智慧和生物特徵的組合,以實現一個基於人工智慧技術的安全監控系統。
什麼是邊緣生物特徵?
首先,讓我們來理清:什麼是邊緣AI?在傳統的人工智慧體系結構中,常見的做法是在雲端部署模型和數據,與操作設備或硬體感測器分離。這迫使我們將雲端伺服器保持在適當的狀態,保持穩定的網路連接,並為雲端服務付費。如果在網路連線中斷的情況下無法存取遠端存儲,那麼,整個AI應用程式將變得毫無用處。
「相比之下,邊緣AI的理念是在設備上部署人工智慧應用程序,離用戶更近。邊緣設備可能有自己的GPU,允許我們在設備上就地處理輸入。
這提供了許多優點,例如由於所有操作都是在本地設備上執行的,所以延遲減少,總體成本和功耗也變得更低。此外,由於設備可以輕鬆地從一個位置移動到另一個位置,因此整個系統更具便攜性。
鑑於我們不需要大型生態系統,與依賴穩定互聯網連接的傳統安全系統相比,頻寬需求也較低。邊緣設備甚至可以在連線關閉的情況下運行,因為資料可以儲存在裝置的內部記憶體中。這使得整個系統設計更加可靠且穩健。」
—丹尼爾·利亞多夫(MobiDev的Python工程師)
唯一值得注意的缺陷是,所有處理都必須在短時間內在設備上完成,硬體元件必須足夠強大,並且必須是最新的,才能實現此功能。
對於人臉或語音辨識等生物特徵認證任務,安全系統的快速反應和可靠性至關重要。因為我們希望確保無縫的使用者體驗和適當的安全性,所以依靠邊緣設備可以帶來這些好處。
生物特徵訊息,如員工的臉和聲音,似乎足夠安全,因為它們代表了神經網路可以識別的獨特模式。此外,這種類型的資料更容易收集,因為大多數企業在其CRM或ERP中已經有員工的照片。這樣,你也可以透過收集你的員工的指紋樣本來避免任何隱私問題。
結合邊緣技術,我們可以為工作區入口創建靈活的AI安全攝影機系統。下面,我們將根據我們自己公司的開發經驗,並藉助邊緣生物特徵,來討論如何實現這樣的一個系統。
人工智慧監控系統設計
該專案的主要目的是在辦公室入口處對員工進行身份驗證,只需看一眼攝影機即可。電腦視覺模型能夠識別一個人的臉,將其與先前獲得的照片進行比較,然後控制門的自動打開。作為額外措施,還將添加語音驗證支持,以避免以任何方式欺騙系統。整個管線由4個模型組成,它們分別負責執行從人臉偵測到語音辨識的各項不同任務。
所有這些措施都是透過一個用作視訊/音訊輸入感測器的單一裝置以及一個用於發送鎖定/解鎖命令的控制器來完成的。作為邊緣設備,我們選擇使用NVIDIA公司的Jetson Xavier。之所以做出這個選擇,主要是因為此設備使用了GPU記憶體(這對於加速深入學習專案的推理至關重要),而且NVIDIA公司提供的Jetpack–SDK也高度可用——支援在基於Python3環境的設備上進行編碼。因此,沒有嚴格的必要將DS模型轉換為另一種格式,幾乎所有的程式碼庫都可以由DS工程師根據設備進行調整;而且,也不需要從一種程式語言重寫為另一種語言形式。
AI安全系統工作流程
根據上面的描述,整個流程遵循以下流程:
1. 將輸入影像提供給人臉偵測模型以尋找使用者。
2. 人臉辨識模型透過擷取向量並與現有員工照片進行比較來進行推斷,以確定是否是同一個人。
3. 另一個模型是透過語音樣本來驗證特定人的語音。
4. 此外,採用語音到文字反欺騙方案以防止任何類型欺騙技術。
接下來,讓我們討論每一個實現環節,並詳細說明訓練和資料收集過程。
資料擷取
在深入研究系統模組之前,一定要注意所使用的資料庫。我們的系統依賴於為使用者提供所謂的參考或基本事實數據。該數據目前包括每個用戶的預計算人臉和語音向量,看起來像數字數組。系統還儲存成功登入的數據,以備日後重新訓練使用。有鑑於此,我們選擇了最輕量級的解決方案SQLite DB。有了這個資料庫,所有資料都儲存在一個易於瀏覽和備份的檔案中,而且資料科學工程師的學習時間更短。
因為臉部辨識需要所有可能進入辦公室的員工的照片,所以我們使用儲存在公司資料庫中的臉部照片。當人們使用臉部驗證來開門時,放置在辦公室門口的Jetson設備也收集了臉部資料樣本。
最初語音數據不可用,所以我們組織採集數據,要求人們錄製20秒的片段。然後,我們使用語音驗證模型來獲取每個人的向量,並將其儲存在資料庫中。你可以使用任何音訊輸入設備來採集語音樣本。在我們的專案中,我們使用便攜式手機和內建麥克風的網路攝影機來錄製聲音。
臉部偵測
人臉偵測可以確定給定場景中是否存在人臉的問題。如果有,模型應該給出每個面部的坐標,以便您知道每個臉在圖像上的位置,包括面部標誌。此資訊很重要,因為我們需要在邊界框中接收一個臉部,以便在下一步中運行人臉辨識。
對於人臉偵測,我們使用了RetinaFace模型和InsightFace專案中的MobileNet關鍵元件。此模型輸出影像上每個偵測到的人臉的四個座標以及5個人臉標記。事實上,以不同角度或使用不同光學元件拍攝的影像可能會因變形而改變臉部的比例。這可能會導致模型難以識別此人。
為了滿足這個需求,臉部標誌被用來進行變形,這是一種減少同一個人的這些影像之間可能存在的差異的技術。因此,所獲得的裁剪面和扭曲面看起來更相似,提取的臉向量也更準確。
臉部辨識
下一步是人臉辨識。在這個階段,模型必須從給定的圖像(即獲得的圖像)中識別出人。識別是在參考(地面真實數據)的幫助下完成的。因此,在這裡,模型將透過測量兩個向量之間差異的距離分數來比較兩個向量,以判斷站在相機前的是不是同一個人。此評估演算法將與我們所擁有的一名員工的初始照片進行比較。
人臉辨識是使用SE-ResNet-50架構的模型完成的。為了使模型結果更加穩健,在獲得人臉向量輸入之前,影像將被翻轉一下以進行平均化處理。此時,使用者識別流程如下:
人臉和語音驗證流程
語音驗證
接下來,我們轉到語音驗證環節。此步驟應該完成驗證兩個音訊是否包含同一個人的聲音。你可能會問,為什麼不考慮語音辨識呢?答案是,現在臉部辨識的效果比語音好得多,影像比語音能提供更多的資訊來辨識使用者。為了避免出現透過臉部辨識用戶A而透過語音辨識用戶B,系統只採用了臉部辨識方案。
基本邏輯與人臉辨識階段幾乎相同,因為我們透過向量之間的距離來比較兩個向量,除非我們找到相似的向量。唯一的區別是,我們已經有了一個關於誰是試圖從前面的人臉識別模組中通過的人的假設。
在語音驗證模組的積極開發過程中,出現了許多問題。
先前採用Jasper架構的型號無法驗證同一個人從不同麥克風上錄製的錄音。因此,我們透過使用ECAPA-TDNN架構解決了這個問題,該架構在SpeechBrain框架的VoxCeleb2資料集上進行了訓練,它在驗證員工方面做得更好。
然而,音訊片段仍然需要一些預處理。目的是透過保留聲音和減少當前背景噪音來提高音訊錄製品質。然而,所有測試技術都嚴重影響了語音驗證模型的品質。很可能,即使是最輕微的降噪也會改變錄音中的語音音訊特性,因此模型將無法正確驗證此人。
此外,我們還調查了音訊錄製的長度以及使用者應該發音多少個字。這次調查的結果,我們提出了一些建議。結論是:這種錄音的持續時間至少要3秒,需要朗讀大約8個字。
語音到文字反欺騙
最後一個安全性方面的措施是,系統應用了Nemo框架中基於QuartzNet構建的語音到文字反欺騙。該模型提供了良好的用戶體驗,適用於即時場景。要衡量一個人所說的與系統期望的接近程度,需要計算他們之間的Levenshtein距離。
取得員工的照片以欺騙臉部驗證模組是一項可以實現的任務,同時還可以錄製語音樣本。語音到文字反欺騙不包括入侵者試圖使用授權人員的照片和音訊進入辦公室的場景。這個想法很簡單:當每個人驗證自己時,他們會說出系統給出的短語。短語由一組隨機選擇的單字組成。雖然短語中的單字數量並不多,但實際可能的組合數量是相當巨大的。應用隨機產生的短語,我們消除了欺騙系統的可能性,因為它需要授權使用者說出大量錄製的短語。擁有一張用戶的照片不足以欺騙具有此保護的AI安全系統。
邊緣生物特徵辨識系統的優點
此時,我們的邊緣生物辨識系統讓使用者遵循一個簡單的操作流程,這需要他們說出一個隨機產生的短語來解鎖門。此外,透過人臉偵測,我們為辦公室入口提供人工智慧監控服務。
語音驗證和語音到文字反欺騙模組
「透過新增多個邊緣設備,系統經過輕鬆修改即可擴展應用到不同的場景中。與普通電腦相比,我們可以透過網路直接配置Jetson,透過GPIO介面與低階設備建立連接,並且很容易用新硬體進行升級。我們還可以與任何具有web API的數位安全系統整合。
但此方案的主要好處在於,我們可以直接從設備收集資料來改進系統,因為在入口處收集資料似乎非常方便,不存在任何特定的中斷。」
——丹尼爾·利亞多夫(MobiDev的Python工程師)
譯者介紹
朱先忠,51CTO社群編輯,51CTO專家部落格、講師,濰坊一所高校電腦教師,自由程式界老兵一枚。
原文標題:##Developing AI Security Systems With Edge Biometrics
######################################################################### ######,作者:Dmitriy Kisil##########以上是利用邊緣生物特徵開發人工智慧安全系統的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

本站6月27日訊息,剪映是由位元組跳動旗下臉萌科技開發的一款影片剪輯軟體,依託於抖音平台且基本面向該平台用戶製作短影片內容,並相容於iOS、安卓、Windows 、MacOS等作業系統。剪映官方宣布會員體系升級,推出全新SVIP,包含多種AI黑科技,例如智慧翻譯、智慧劃重點、智慧包裝、數位人合成等。價格方面,剪映SVIP月費79元,年費599元(本站註:折合每月49.9元),連續包月則為59元每月,連續包年為499元每年(折合每月41.6元) 。此外,剪映官方也表示,為提升用戶體驗,向已訂閱了原版VIP

透過將檢索增強生成和語意記憶納入AI編碼助手,提升開發人員的生產力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。雖然基本AI程式設計助理自然有幫助,但由於依賴對軟體語言和編寫軟體最常見模式的整體理解,因此常常無法提供最相關和正確的程式碼建議。這些編碼助手產生的代碼適合解決他們負責解決的問題,但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導致需要修改或完善其建議,以便將程式碼接受到應

想了解更多AIGC的內容,請造訪:51CTOAI.x社群https://www.51cto.com/aigc/譯者|晶顏審校|重樓不同於網路上隨處可見的傳統問題庫,這些問題需要跳脫常規思維。大語言模型(LLM)在數據科學、生成式人工智慧(GenAI)和人工智慧領域越來越重要。這些複雜的演算法提升了人類的技能,並在許多產業中推動了效率和創新性的提升,成為企業保持競爭力的關鍵。 LLM的應用範圍非常廣泛,它可以用於自然語言處理、文字生成、語音辨識和推薦系統等領域。透過學習大量的數據,LLM能夠產生文本

大型語言模型(LLM)是在龐大的文字資料庫上訓練的,在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數中,然後可以在需要時使用。這些模型的知識在訓練結束時被「具體化」。在預訓練結束時,模型實際上停止學習。對模型進行對齊或進行指令調優,讓模型學習如何充分利用這些知識,以及如何更自然地回應使用者的問題。但是有時模型知識是不夠的,儘管模型可以透過RAG存取外部內容,但透過微調使用模型適應新的領域被認為是有益的。這種微調是使用人工標註者或其他llm創建的輸入進行的,模型會遇到額外的實際知識並將其整合

機器學習是人工智慧的重要分支,它賦予電腦從數據中學習的能力,並能夠在無需明確編程的情況下改進自身能力。機器學習在各個領域都有廣泛的應用,從影像辨識和自然語言處理到推薦系統和詐欺偵測,它正在改變我們的生活方式。機器學習領域存在著多種不同的方法和理論,其中最具影響力的五種方法被稱為「機器學習五大派」。這五大派分別為符號派、聯結派、進化派、貝葉斯派和類推學派。 1.符號學派符號學(Symbolism),又稱符號主義,強調利用符號進行邏輯推理和表達知識。該學派認為學習是一種逆向演繹的過程,透過現有的

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

本站8月1日消息,SK海力士今天(8月1日)發布博文,宣布將出席8月6日至8日,在美國加州聖克拉拉舉行的全球半導體記憶體峰會FMS2024,展示諸多新一代產品。未來記憶體和儲存高峰會(FutureMemoryandStorage)簡介前身是主要面向NAND供應商的快閃記憶體高峰會(FlashMemorySummit),在人工智慧技術日益受到關注的背景下,今年重新命名為未來記憶體和儲存高峰會(FutureMemoryandStorage),以邀請DRAM和儲存供應商等更多參與者。新產品SK海力士去年在

編輯|KX在藥物研發領域,準確有效地預測蛋白質與配體的結合親和力對於藥物篩選和優化至關重要。然而,目前的研究並沒有考慮到分子表面訊息在蛋白質-配體相互作用中的重要作用。基於此,來自廈門大學的研究人員提出了一種新穎的多模態特徵提取(MFE)框架,該框架首次結合了蛋白質表面、3D結構和序列的信息,並使用交叉注意機制進行不同模態之間的特徵對齊。實驗結果表明,該方法在預測蛋白質-配體結合親和力方面取得了最先進的性能。此外,消融研究證明了該框架內蛋白質表面資訊和多模態特徵對齊的有效性和必要性。相關研究以「S
