利用邊緣生物特徵開發人工智慧安全系統-人工智慧-PHP中文網

譯者 | 朱先忠

審校| 孫淑娟

工作區安全可能是公司中一種費力又費時的資金流失管道，特別是對於處理敏感資訊或擁有數千名員工的多個辦公室的公司而言。電子鑰匙是安全系統自動化的標準選擇之一，但實際上，仍有諸如遺失、遺忘或偽造鑰匙等不少缺點。

生物辨識技術是傳統安全措施的可靠替代品，因為它們代表了「你是什麼」身分驗證的概念。這意味著，使用者可以使用他們獨特的特徵，如指紋、虹膜、聲音或臉部，來證明他們能夠進入某個空間。使用生物特徵作為身份驗證方法可以確保金鑰不會遺失、遺忘或偽造。因此，在本文中，我們將談談我們在邊緣生物特徵方面的開發經驗，這是邊緣設備、人工智慧和生物特徵的組合，以實現一個基於人工智慧技術的安全監控系統。

什麼是邊緣生物特徵？

首先，讓我們來理清：什麼是邊緣AI？在傳統的人工智慧體系結構中，常見的做法是在雲端部署模型和數據，與操作設備或硬體感測器分離。這迫使我們將雲端伺服器保持在適當的狀態，保持穩定的網路連接，並為雲端服務付費。如果在網路連線中斷的情況下無法存取遠端存儲，那麼，整個AI應用程式將變得毫無用處。

「相比之下，邊緣AI的理念是在設備上部署人工智慧應用程序，離用戶更近。邊緣設備可能有自己的GPU，允許我們在設備上就地處理輸入。

這提供了許多優點，例如由於所有操作都是在本地設備上執行的，所以延遲減少，總體成本和功耗也變得更低。此外，由於設備可以輕鬆地從一個位置移動到另一個位置，因此整個系統更具便攜性。

鑑於我們不需要大型生態系統，與依賴穩定互聯網連接的傳統安全系統相比，頻寬需求也較低。邊緣設備甚至可以在連線關閉的情況下運行，因為資料可以儲存在裝置的內部記憶體中。這使得整個系統設計更加可靠且穩健。」

—丹尼爾·利亞多夫（MobiDev的Python工程師）

唯一值得注意的缺陷是，所有處理都必須在短時間內在設備上完成，硬體元件必須足夠強大，並且必須是最新的，才能實現此功能。

對於人臉或語音辨識等生物特徵認證任務，安全系統的快速反應和可靠性至關重要。因為我們希望確保無縫的使用者體驗和適當的安全性，所以依靠邊緣設備可以帶來這些好處。

生物特徵訊息，如員工的臉和聲音，似乎足夠安全，因為它們代表了神經網路可以識別的獨特模式。此外，這種類型的資料更容易收集，因為大多數企業在其CRM或ERP中已經有員工的照片。這樣，你也可以透過收集你的員工的指紋樣本來避免任何隱私問題。

結合邊緣技術，我們可以為工作區入口創建靈活的AI安全攝影機系統。下面，我們將根據我們自己公司的開發經驗，並藉助邊緣生物特徵，來討論如何實現這樣的一個系統。

人工智慧監控系統設計

該專案的主要目的是在辦公室入口處對員工進行身份驗證，只需看一眼攝影機即可。電腦視覺模型能夠識別一個人的臉，將其與先前獲得的照片進行比較，然後控制門的自動打開。作為額外措施，還將添加語音驗證支持，以避免以任何方式欺騙系統。整個管線由4個模型組成，它們分別負責執行從人臉偵測到語音辨識的各項不同任務。

所有這些措施都是透過一個用作視訊/音訊輸入感測器的單一裝置以及一個用於發送鎖定/解鎖命令的控制器來完成的。作為邊緣設備，我們選擇使用NVIDIA公司的Jetson Xavier。之所以做出這個選擇，主要是因為此設備使用了GPU記憶體（這對於加速深入學習專案的推理至關重要），而且NVIDIA公司提供的Jetpack–SDK也高度可用——支援在基於Python3環境的設備上進行編碼。因此，沒有嚴格的必要將DS模型轉換為另一種格式，幾乎所有的程式碼庫都可以由DS工程師根據設備進行調整；而且，也不需要從一種程式語言重寫為另一種語言形式。

利用邊緣生物特徵開發人工智慧安全系統

AI安全系統工作流程

根據上面的描述，整個流程遵循以下流程：

1. 將輸入影像提供給人臉偵測模型以尋找使用者。

2. 人臉辨識模型透過擷取向量並與現有員工照片進行比較來進行推斷，以確定是否是同一個人。

3. 另一個模型是透過語音樣本來驗證特定人的語音。

4. 此外，採用語音到文字反欺騙方案以防止任何類型欺騙技術。

接下來，讓我們討論每一個實現環節，並詳細說明訓練和資料收集過程。

資料擷取

在深入研究系統模組之前，一定要注意所使用的資料庫。我們的系統依賴於為使用者提供所謂的參考或基本事實數據。該數據目前包括每個用戶的預計算人臉和語音向量，看起來像數字數組。系統還儲存成功登入的數據，以備日後重新訓練使用。有鑑於此，我們選擇了最輕量級的解決方案SQLite DB。有了這個資料庫，所有資料都儲存在一個易於瀏覽和備份的檔案中，而且資料科學工程師的學習時間更短。

因為臉部辨識需要所有可能進入辦公室的員工的照片，所以我們使用儲存在公司資料庫中的臉部照片。當人們使用臉部驗證來開門時，放置在辦公室門口的Jetson設備也收集了臉部資料樣本。

最初語音數據不可用，所以我們組織採集數據，要求人們錄製20秒的片段。然後，我們使用語音驗證模型來獲取每個人的向量，並將其儲存在資料庫中。你可以使用任何音訊輸入設備來採集語音樣本。在我們的專案中，我們使用便攜式手機和內建麥克風的網路攝影機來錄製聲音。

臉部偵測

人臉偵測可以確定給定場景中是否存在人臉的問題。如果有，模型應該給出每個面部的坐標，以便您知道每個臉在圖像上的位置，包括面部標誌。此資訊很重要，因為我們需要在邊界框中接收一個臉部，以便在下一步中運行人臉辨識。

對於人臉偵測，我們使用了RetinaFace模型和InsightFace專案中的MobileNet關鍵元件。此模型輸出影像上每個偵測到的人臉的四個座標以及5個人臉標記。事實上，以不同角度或使用不同光學元件拍攝的影像可能會因變形而改變臉部的比例。這可能會導致模型難以識別此人。

為了滿足這個需求，臉部標誌被用來進行變形，這是一種減少同一個人的這些影像之間可能存在的差異的技術。因此，所獲得的裁剪面和扭曲面看起來更相似，提取的臉向量也更準確。

臉部辨識

下一步是人臉辨識。在這個階段，模型必須從給定的圖像（即獲得的圖像）中識別出人。識別是在參考（地面真實數據）的幫助下完成的。因此，在這裡，模型將透過測量兩個向量之間差異的距離分數來比較兩個向量，以判斷站在相機前的是不是同一個人。此評估演算法將與我們所擁有的一名員工的初始照片進行比較。

人臉辨識是使用SE-ResNet-50架構的模型完成的。為了使模型結果更加穩健，在獲得人臉向量輸入之前，影像將被翻轉一下以進行平均化處理。此時，使用者識別流程如下：

利用邊緣生物特徵開發人工智慧安全系統

人臉和語音驗證流程

語音驗證

接下來，我們轉到語音驗證環節。此步驟應該完成驗證兩個音訊是否包含同一個人的聲音。你可能會問，為什麼不考慮語音辨識呢？答案是，現在臉部辨識的效果比語音好得多，影像比語音能提供更多的資訊來辨識使用者。為了避免出現透過臉部辨識用戶A而透過語音辨識用戶B，系統只採用了臉部辨識方案。

基本邏輯與人臉辨識階段幾乎相同，因為我們透過向量之間的距離來比較兩個向量，除非我們找到相似的向量。唯一的區別是，我們已經有了一個關於誰是試圖從前面的人臉識別模組中通過的人的假設。

在語音驗證模組的積極開發過程中，出現了許多問題。

先前採用Jasper架構的型號無法驗證同一個人從不同麥克風上錄製的錄音。因此，我們透過使用ECAPA-TDNN架構解決了這個問題，該架構在SpeechBrain框架的VoxCeleb2資料集上進行了訓練，它在驗證員工方面做得更好。

然而，音訊片段仍然需要一些預處理。目的是透過保留聲音和減少當前背景噪音來提高音訊錄製品質。然而，所有測試技術都嚴重影響了語音驗證模型的品質。很可能，即使是最輕微的降噪也會改變錄音中的語音音訊特性，因此模型將無法正確驗證此人。

此外，我們還調查了音訊錄製的長度以及使用者應該發音多少個字。這次調查的結果，我們提出了一些建議。結論是：這種錄音的持續時間至少要3秒，需要朗讀大約8個字。

語音到文字反欺騙

最後一個安全性方面的措施是，系統應用了Nemo框架中基於QuartzNet構建的語音到文字反欺騙。該模型提供了良好的用戶體驗，適用於即時場景。要衡量一個人所說的與系統期望的接近程度，需要計算他們之間的Levenshtein距離。

取得員工的照片以欺騙臉部驗證模組是一項可以實現的任務，同時還可以錄製語音樣本。語音到文字反欺騙不包括入侵者試圖使用授權人員的照片和音訊進入辦公室的場景。這個想法很簡單：當每個人驗證自己時，他們會說出系統給出的短語。短語由一組隨機選擇的單字組成。雖然短語中的單字數量並不多，但實際可能的組合數量是相當巨大的。應用隨機產生的短語，我們消除了欺騙系統的可能性，因為它需要授權使用者說出大量錄製的短語。擁有一張用戶的照片不足以欺騙具有此保護的AI安全系統。