社交、直播、論壇、電商等各類平台每天都會產生海量UGC,其中不可避免地混雜有大量垃圾文字。這些內容不僅嚴重影響使用者體驗,也可能發生違規的營運風險。
網路不良資訊過濾、內容審核的尷尬終於隨著網路科技的發展而迎來了可能的解決辦法,那就是人工智慧;2016年網信辦發布的《未成年人網路保護條例》明確鼓勵並支持研發、生產和推廣為成年人上網保護軟體。科技發展再加上政策支持,內容審核技術的發展終於迎來了春天。
人工智慧的內容審核方式是讓機器在海量的圖像、文字、視訊資料下深度學習,不斷提昇系統對於各種類型內容的辨識數量和判斷精度,概括而言就是將深度學習應用於文字語言訊息的技術。截止到目前為止,國內人工智慧產業中,以「文字智慧挖掘」作為核心技術的公司數量已高達上百家,而細分到「不良資訊過濾」這個環節上,可以與商業場景緊密結合,並在辨識「暴恐」、「敏感資訊」、「小廣告」等違規文字訊息過濾的國內系統並不多,而九眼智慧過濾系統就是其中之一,其充分融合了自然語言理解、人工智慧、大數據分析等領域尖端技術,具備智慧化、語意化、即時性三大特性。
九眼智慧過濾系統面向複雜文字大數據的內容智慧過濾系統,可即時智慧識別關鍵字音變、形變與拆字等常見變體,並實現了語義的精準排歧,系統內置了國內全面、即時的知識庫,適用於多場景不文明資訊內容的智慧過濾發現。
九眼智慧過濾三大技術核心:智慧變種、語意排歧、快速即時
1、智慧變種辨識:九眼智慧濾波利用美雙陣列TRIE樹字典管理與檢索方法,系統自動識別形變詞、音變詞、拆字、噪音、繁簡體、全角半角、中間加各類幹擾噪音等變體; 同時,系統支援自訂詞庫,增量添加百萬量級詞庫。
2、語意排歧:九眼智能過濾利用NLPIR語意精準分詞系統與情緒分析系統,精準辨識與過濾,排除正面無害的訊息,大幅降低了誤判率。
3、快速即時:九眼智慧過濾使用專利演算法,快速掃描,單機速度30MB/s;支援單機多執行緒、多機並行、Hadoop雲端服務模式,對PB級資訊內容實現並行高效線上核查。
內容作為互聯網應用或平台將來的發力方向,對各行各業都有至關重要的地位,引入更好的審核機制,從而建立健康的內容環境,在不良信息大行其道,甚至可能會成為競品構陷自己的手段的今天已經是迫在眉睫,這也要求不良資訊過濾技術需要更高的精度來滿足其需求。
以上是九眼智慧資訊過濾:大數據技術推動產品升級的詳細內容。更多資訊請關注PHP中文網其他相關文章!