火爆 GitHub！這個神器開源了！

最近全球各大新勢力造車公司簡直不能再火紅！小編看著蹭蹭飆升的股價實在是眼紅的不要不要的。而懂行的人都知道，以特斯拉為首，各大公司都採用電腦視覺作為自動駕駛的技術底座，而其中正是透過影像分割技術，汽車才能分清楚哪裡是路，哪裡是人。

那影像分割重不重要還需要我強調麼？而今天我要跟大家介紹的這個開源套件，就涵蓋業界最前沿的影像分割演算法，並且效果超群，這就是 PaddleSeg！ ！ OMG，還在等什麼？ ！盤他！盤他！盤他！

如期舉行的全球電腦視覺頂會 CVPR2021 上，PaddleSeg 再次綻放高光。其中 AutoNUE 挑戰賽是近年來自動駕駛場景理解領域極具影響力的賽事，非常考驗參賽者在非結構化環境中的語意分割演算法能力。百度 PaddleSeg 團隊最終擊敗其餘參賽隊伍，在 Level 1， Level 2， Level 3 三項測試指標上均以第一名的成績摘獲冠軍。

著急的朋友可以直接去看比賽詳情：

https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSegsentation_PaddleSegsentation_PaddleSeg .pdf

 

那麼PaddleSeg 到底是個啥呢？小編去GitHub 上去扒了一下官方的解釋：

PaddleSeg 是基於飛槳開發的端到端影像分割開發套件，涵蓋了高精度和輕量級等不同方向的大量高品質分割模型。透過模組化的設計，幫助開發者完成從訓練到部署的全流程影像分割應用。以下就跟大家講講PaddleSeg 的特點和近期更新的內容：

 

#全新升級了人像分割功能，提供了web 端超輕量模型部署方案；

推出了精細化的分割解決方案PaddleSeg-Matting；

開源了全景分割演算法Panoptic-DeepLab，豐富了模型種類；

發布了互動式分割的智慧標註工具EISeg。極大的提升了標註效率。

Web 視訊會議  

#Matting

全景分割

互動式分割

提供了產業級的部署方式。如今又增加了這麼多的新功能。可以說 PaddleSeg 已經可以全方位、立體式地滿足開發者各個維度的需求。不得不大說：、

這麼好的產品，還不快上車？

上車網址：

https://github.com/PaddlePaddle/PaddleSeg

 

##產業級人像分割方案PPSeg 

人像分割是影像分割領域非常常見的應用，在實際應用過程中人像的資料集來源多種多樣，資料可能來自手機、相機、監控等，圖片尺寸可能是橫屏、垂直屏或方屏。部署場景多樣，有的應用在伺服器端，有的應用在行動端，還有的應用在網頁端。為此 PaddleSeg 團隊推出了在大規模人像資料上訓練的人像分割 PPSeg 模型，滿足在服務端、行動端、Web 端（Paddle.js）多種使用場景的需求。

 

PPSeg 模式在產業中得到了廣泛的應用。近期「百度視訊會議」也上線了虛擬背景功能，支援用戶在視訊會議時進行背景切換。其中人像換背景模式採用 PaddleSeg 團隊開發的 PPSeg 系列模式中的超輕量級模式。透過 Padddle.js 實現了在 web 端部署，直接利用瀏覽器的算力進行圖片分割，分割效果受到一致好評。

產業級解決方案詳解：

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg

夥伴們也可前去百度首頁體驗百度視訊會議，直覺體驗PaddleSeg 和Paddle.js 為大家提供的人像分割功能。

 精細化的分割解決方案 PaddleSeg-Matting 

隨著分割技術的發展，人們對分割的精細化的要求也越來越高。例如在一些影視產業，綠幕作為拍攝的換背景常用的工作，但目標不在綠幕前拍攝，是否還能達到很好的背景分割功能？

答案是：能！

最近 PaddleSeg 團隊開源的精細化分割解決方案 PaddleSeg-Matting 就很好的解決了這個問題。將目標的髮絲實現了精準的分割。

PaddleSeg 透過內建 trimap 產生機制實現 alpha 預測，無需任何輔助資訊的輸入即可完成預測，大大減少了人力成本。透過共享 encoder 權重減少網路的參數量，並在 decoder 階段利用 attention module 實現 trimap 資訊流對 alpha 預測的指導。接著利用 error map 擷取錯估區域的 patch，透過 refinement 子網路進行 refine 得到最終的 alpha。

 互動式分割智慧標註工具 

業界對於人工智慧有這麼一句話：「深度學習有多智慧、背後就有多少人工」。這句話直接說出了深度學習從業者心中的痛處，畢竟模型的好壞數據佔據著很大的因素，但是數據的標註成本卻讓很多從業的小伙伴們感到頭疼。

為此 PaddleSeg 團隊重磅推出的互動式分割智慧標註軟體EISeg 那具體什麼是互動式分割呢？透過下面的動態圖來了解一下。

#不難發現，互動式分割透過一系列的綠點（正點）和紅色點（負點）實現了對目標物件的邊緣分割，互動式分割主要的應用方向是影像編輯和半自動標註，可以應用於精細化標註，摳圖，輔助影像後製（例如PS）等場景。

PaddleSeg 團隊聯合 PaddleCV-SIG 成員基於 RITM 演算法，推出了業界首個高效能的互動式分割工具 EISeg，我們支援 RITM 模型的訓練、預測及互動的全流程。 PaddleSeg 互動式分割模型不僅支援從頭訓練強大的通用場景模型，還支援對特定場景資料進行 Finetune。我們利用百度自建人像資料集對模型 Finetune，得到預測速度快，精度高，交互點少的人像互動分割模型。

軟體提供多種安裝方式，支援使用者使用 pip 和 conda 安裝，另外 windows 下提供了可執行的 exe 文件，雙擊.exe 即可執行程式。

 全景分割 Panoptic-DeepLab 

全景分割是影像分割領域在近年來興起的一個新領域，由 FAIR 與海德堡大學在2018年首次提出。

 什麼是全景分割呢？

圖像的資訊可以分為 thing 和 stuff，其中 thing 表示可數對象，例如車、動物等等，stuff 表示不可數對象，例如沙灘、天空等等。語意分割任務不關注圖像中的是 stuff 還是 thing，只關注每個像素所屬的語意類別，因此無法實現實例物件的區分。而實例分割關注的是 thing 的分割，將圖像中的 thing 識別出來，區分出不同的實例個體以及相應的語義訊息，對於 stuff 區域，則統一表示為背景。全景分割是融合了語義分割和實例分割的技術，對於 thing，識別出不同的實例個體以及對應的語義訊息，對於 stuff，識別出對應的語義資訊。

Panoptic DeepLab 首次以bottem-up 和single-shot 演算法形式達到state-of-the-art 性能，相比於top-down 演算法Panoptic DeepLab 以簡單的網路結構實現了精度、速度雙超越，開創了全景分割演算法新方向，目前Cityscape 全景分割榜首即基於此演算法。

 

 PaddleSeg 全貌 

• 全明星演算法陣容

20 全面領先同類框架的高精度語意分割演算法，50 預訓練模型新增全景分割演算法，豐富了應用場景。提供了高精度的人像分割演算法 HumanSeg，滿足多端部署。

 

• 全產業鏈部署

不僅全面支援動態圖開發，可以順暢的完成動靜轉換；還從資料預處理、演算法訓練調優、壓縮、多端部署等全流程、各環節順暢打通，大大提升了使用者開發的易用性，加速了演算法產業應用落地的速度。尤其是透過 Paddle.js 支援在 web 端部署，賦予了網頁端部署的更多可能性。

 

你還在等什麼？ ！如此用心研發的高水準產品，還不趕緊 Star 收藏上車！

傳送門：

https://github.com/PaddlePaddle/PaddleSeg

#