4 倍高速化した Bytedance のオープンソース高性能トレーニング推論エンジン LightSeq テクノロジーが明らかに

Transformer モデルは、2017 年に Google チームが発表した論文「Attending is all you need」に由来しています。この論文は、Attention を使用して Seq2Seq モデルの循環構造を置き換えるという概念を最初に提案しました。これは、世界に大きな影響を与えました。 NLP フィールド。そして、近年の研究の継続的な進歩により、Transformer 関連技術は自然言語処理から徐々に他の分野へ流れてきました。現在まで、Transformer シリーズは、NLP、CV、ASR などの分野で主流のモデルとなっています。

したがって、Transformer モデルをより迅速にトレーニングおよび推論する方法が、業界の重要な研究方向となっています。低精度量子化テクノロジーは、データ幅を減らすことで計算と通信のプロセスを高速化でき、この段階でのモデルのトレーニングと推論を高速化する重要な手段です。ただし、量子化によって精度と効果が失われるため、定量化された知覚やトレーニングなどの手段によって損失を軽減する必要があるという問題があります。上記の問題点に対応して、ByteDance は LightSeq トレーニングおよび推論加速エンジン バージョン 3.0 を開発およびアップグレードしました。これにより、初めて正確かつロスレスの Transformer モデルの定量的トレーニングと定量的推論が同時に実現されました。

LightSeq は、業界で広く使用されている疑似量子化手法を使用する代わりに、int8 GEMM を通じて真の量子化トレーニング プロセスを実装しており、モデルのトレーニング速度を 4 倍以上向上させることができます。 PACT などの定量的戦略により、定量的トレーニングの損失を最小限に抑えることができます。定量モデルを LightSeq でサポートされている形式にエクスポートした後、さらに LightSeq 定量推論エンジンを使用して高速推論を実現し、T4 グラフィックス カードで速度が最大 70% 向上します。

7 月 21 日の [T・TALK] テクノロジー共有イベントでは、ByteDance アルゴリズム エンジニアであり LightSeq コア開発者の Xiong Ying 氏をライブ ブロードキャスト ルームのゲストとして特別に招待し、その秘密を明らかにしました。 ByteDance を聴衆に紹介する高性能トレーニング推論エンジン LightSeq の技術原理と実践的な詳細。あなたがアルゴリズム業界の実務者であっても、AI テクノロジーの研究に熱心な開発者であっても、この共有からユニークな技術経験と革新的なインスピレーションを得ることができると思います。

7 月 21 日午後 20 時から開催される [T・TALK] の第 12 回技術共有イベントへの皆様のご参加を歓迎します。

ポスター QRコード予約閲覧

以上が4 倍高速化した Bytedance のオープンソース高性能トレーニング推論エンジン LightSeq テクノロジーが明らかにの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。