Breaking through the boundaries of traditional defect detection, 'Defect Spectrum' achieves ultra-high-precision and rich semantic industrial defect detection for the first time.

In modern manufacturing, accurate defect detection is not only the key to ensuring product quality, but also the core of improving production efficiency. However, existing defect detection datasets often lack the accuracy and semantic richness required for practical applications, resulting in models unable to identify specific defect categories or locations.

In order to solve this problem, a top research team composed of Hong Kong University of Science and Technology Guangzhou and Simou Technology innovatively developed the "Defect Spectrum" data set, which provides detailed and semantically rich large-scale annotation of industrial defects. As shown in Table 1, compared with other industrial data sets, the "Defect Spectrum" data set provides the most defect annotations (5438 defect samples), the most detailed defect classification (125 defect categories), and provides different types of defects. All provide pixel-level detailed labels. In addition, the dataset also provides a detailed linguistic description for each defect sample. The specific annotation comparison is shown in Figure 1.

Figure 1: Compared with other industrial data sets, Defect Spectrum is more accurate and has richer annotations

Table 1: Comparison of the quantity and nature of Defect Spectrum and other existing data sets

"Defect Spectrum" introduces a revolutionary approach - "DefectGen" - based on state-of-the-art diffusion models. By using a very small amount of industrial defect data to generate images and pixel-level defect labels, this method significantly improves the performance of industrial defect detection models and is implemented on multiple industry standard data sets (such as MVTec AD, VISION, DAGM2007 and Cotton-Fabric) An unprecedented performance breakthrough.

This breakthrough research not only greatly improves the accuracy of defect detection, but also opens up new possibilities for the application of AI in complex industrial environments. The project's code and models have been fully open source.

• Paper: Defect Spectrum: A Granular Look of Large-Scale Defect Datasets with Rich Semantics
• Paper link:https://www.php.cn/link/136aa7fe7fd745073fec3fb4ef67e3b9
• Project link: https : //envision-research.github.io/Defect_Spectrum/
• Github Repo: https://github.com/EnVision-Research/Defect_Spectrum
• Dataset Repo: https://huggingface.co/datasets/DefectSpectrum/Defect_Spectrum

Break through the traditional defect detection limitations and get closer to actual production

Figure 2: Actual industrial production, closed loop of defect detection and analysis

In actual industrial production, our requirements for defect detection are more detailed. The factory needs to ensure profitability while controlling defective parts, as shown in Figure 2. However, existing defect detection data sets often lack the accuracy and semantic richness required for practical applications. For example, if there is a large area of ​​paint peeling off the surface of a metal plate, although the defect area is large, it will have no functional impact on the metal plate. Probably minimal. However, if there is a small crack inside the metal plate, although this crack is as small as a hair, it may cause the metal plate to break instantly when it is under pressure, significantly affecting its performance and even causing serious safety hazards.

Better to say, suppose that the zipper teeth of a piece of clothing are misaligned. Although this defect may not appear to be large or even easy to detect, it seriously affects the function of the clothing and causes the zipper to not work properly. Consumers Had to return it to the factory for repair. However, if the defect occurs in the fabric of the garment, such as a slight snagging or a slight difference in color, its size and impact need to be carefully weighed. Small-scale fabric defects can be classified within acceptable limits, allowing these products to be sold through different distribution strategies, such as selling at discounted prices, thus keeping the product flowing without affecting overall quality standards.

Behind all this, the "Defect Spectrum" data set is like an almighty detective with insight into everything. It not only covers a wide range of industrial defect types, but also provides detailed and rich descriptions for each defect. With this powerful tool, the defect detection system can more accurately identify and classify various defects without missing any detail.

実際の生産ラインで、「欠陥スペクトル」データセットの助けを借りて、検査システムがこの重大な欠陥を迅速に特定し、直ちにフラグを立てて修理のために工場に返送できることを想像してください。同時に、生地の軽微な欠陥や色の違いについても、欠陥の詳細なマーキングから許容範囲内であるかどうかをシステムが判断し、割引価格で販売するかどうかを決定します。この柔軟な加工方法により、製品の品質が向上するだけでなく、生産効率とコスト管理も確保されます。

MVTEC や AeBAD などの従来のデータセットはピクセルレベルのアノテーションを提供しますが、多くの場合バイナリマスクに限定されており、欠陥の種類や位置を詳細に区別することはできません。 「欠陥スペクトル」データセットは、業界の 4 つの主要なベンチマークとの連携を通じて、既存の欠陥アノテーションを再評価し、改良します。たとえば、細かい傷やへこみはより正確に輪郭が描かれ、見逃した欠陥は専門家の支援によって埋められるため、包括的かつ正確な注釈が保証されます。

革新的な欠陥生成モデル「Defect-Gen」

図3: Defect-Genの2段階生成プロセスの概略図

現在のデータセットでは欠陥サンプルが不十分であるという問題に直面し、私たちは二段拡散発生装置「Defect-Gen」を提案しました。このジェネレーターは、2 つの主要な方法を通じて、限られた数のサンプルで画像の多様性と品質を向上させます。1 つはパッチレベルのモデリングを使用し、2 つは受容野を制限します。

従来の拡散モデルは、トレーニング サンプルが少ない場合、生成された結果に多様性がなく、多くの場合、トレーニング サンプルを覚えているだけである場合、過剰適合する傾向があります。私たちのモデルは、データ次元を削減し、サンプル サイズを増やすことで、この過学習現象を効果的に軽減します。

画像全体の構造を表現する際のパッチレベルモデリングの欠点を補うために、2 段階の拡散プロセスを提案します。まず、大きな受容野モデルを使用して初期のステップで幾何学的構造をキャプチャし、その後、小さな受容野モデルに切り替えて、後続のステップで局所パッチを生成します。これにより、画質を維持しながら、生成される画像の多様性が大幅に向上します。両方のモデルのアクセス ポイントと受容野を調整することにより、私たちのモデルは忠実性と多様性の間の良好なバランスを実現します。

「Defect-Gen」を通じて、産業用欠陥検出のためのより豊富で多様なトレーニングサンプルを提供し、自動検査技術の開発を促進します

総合的な評価と今後の研究の方向性

表2：欠陥検出の評価結果欠陥スペクトル データ セット上のいくつかの欠陥検出ネットワーク

表 3: 欠陥スペクトル データ セットの実際の評価基準表 4: 実際の評価における欠陥スペクトルの優れたパフォーマンス

欠陥スペクトル データ セットの評価表 3 に示すように、総合的に評価され、注釈が付けられました。この実験では、産業上のさまざまな欠陥検出の課題における欠陥スペクトルの適用性と優位性が検証されました。表 4 は、元のデータセットと比較して、データセットでトレーニングされたモデルにより再現率が 10.74% 増加し、偽陽性率が 33.1% 減少したことを示しています。さらに、データセットの構築と評価のプロセスは、強固な研究基盤を提供するだけでなく、産業界や学術界の研究者が産業上の欠陥検出の複雑なニーズに対応する高度なモデルを評価および開発するためのプラットフォームも提供します。

Defect Spectrum データセットの導入は、工業生産にとっては一撃のようなものです。これにより、欠陥検出システムが実際の生産ニーズに近づき、効率的かつ正確な欠陥管理が実現します。同時に、各欠陥のカテゴリと位置を記録することにより、将来の予知保全のための貴重なデータ サポートも提供され、工場は生産プロセスを継続的に最適化し、製品の修理方法を改善し、最終的にはより高い生産効率と製品品質を達成することができます。

概要

私たちは、実際の工業検査に必要な高精度で豊富な欠陥セマンティクスを提供し、モデルが欠陥カテゴリや位置を特定できないという問題を解決する、欠陥スペクトル データセットと欠陥ジェネレータをリリースしました。 。

私たちは欠陥スペクトル データセットの包括的な評価を実施し、さまざまな産業上の欠陥検出の課題におけるその適用性と優位性を検証しました。元のデータセットと比較して、私たちのデータセットでトレーニングされたモデルは改善されました。再現率は 10.74% で、False が減少しました。陽性率は33.1％。

参考：

1.    Bai, H.、Mou, S.、Likhomanenko, T.、Cinbis, R.G.、Tuzel, O.、Huang, P.、Shan, J.、Shi, J.、Cao, M.: ビジョン データセット: のベンチマークビジョンベースの工業検査。 arXiv プレプリント arXiv:2306.07890 (2023)

2.    Silvestre-Blanes, J.、Albero-Albero, T.、Miralles, I.、Pérez-Llorens, R.、Moreno, J.: 欠陥検出方法と結果のためのパブリック ファブリック データベース。オーテックスリサーチジャーナル19(4)、363–374 (2019)。 https://doi.org/doi:10.2478/aut-2019-0035、https://doi.org/10.2478/aut-2019-0035

3.    Zhang, Z.、Zhao, Z.、Zhang, X.、Sun, C.、Chen, X.: ドメイン シフトによる産業異常検出: 実世界のデータセットとマスクされたマルチスケール再構成。 arXiv プレプリント arXiv:2304.02216 (2023)

4.    Mishra, P.、Verk, R.、Fornasier, D.、Piciarelli, C.、Foresti, G.L.: VT-ADL: 画像の異常検出と位置特定のためのビジョン トランスフォーマー ネットワーク。開催地: 第 30 回 IEEE/IES International Symposium on Industrial Electronics (ISIE) (2021 年 6 月)

5.    Incorporated、C.: 標準生地欠陥用語集 (2023)、uRL: https://www.コットンインク。 com / 品質 - 製品 / 繊維 - リソース / 生地 - 欠陥 - 用語集

6.    Wieler, M.、Hahn, T.: 工業用光学検査のための弱教師あり学習。 : DAGM シンポジウム in. vol. 6 (2007)

7.    Tabernik, D.、Šela, S.、Skvarč, J.、Skočaj, D.: 表面欠陥検出のためのセグメンテーションベースの深層学習アプローチ。 Journal of Intelligent Manufacturing31(3)、759–776 (2020)

8.    Bergmann, P.、Fauser, M.、Sattlegger, D.、Steger, C.: Mvtec ad – 教師なし異常検出のための包括的な現実世界のデータセット。掲載: コンピューター ビジョンとパターン認識に関する IEEE/CVF 会議の議事録。 pp. 9592–9600 (2019)

9.    Zou, Y.、Jeong, J.、Pemula, L.、Zhang, D.、Dabeer, O.: 異常検出とセグメンテーションのための間違い探し自己教師付き事前トレーニング (2022)

The above is the detailed content of Breaking through the boundaries of traditional defect detection, 'Defect Spectrum' achieves ultra-high-precision and rich semantic industrial defect detection for the first time.. For more information, please follow other related articles on the PHP Chinese website!