エンタープライズ自然言語検索の新時代が到来

OpenAI の ChatGPT の爆発的なリリースと、それに続く Google と Microsoft の間の検索エンジン戦争により、大規模言語モデル (LLM) とそのアプリケーションが突然注目を集めるようになりました。 ChatGPT および同様のシステムは、検索の新しいエクスペリエンスと概念を再活性化しています。ユーザーは、特定のキーワードや複雑な検索クエリ構文に依存するのではなく、人間の言語を使用して自然に検索エンジンを操作できるようになりました。

質問応答 (QA) システムは、自然言語処理 (NLP) の機能であり、LLM が実現できる一連の言語機能ですが、 QA システムは必ずしも人気のある使用例ではありません。 NLP 検索会社 Kyndi の CEO、ライアン・ウェルシュ氏は、NLP 検索に対する自社のアプローチを説明するのに苦労したことを回想しています。 「これは良い応用例ではありません。」

ウェールズ氏は、ChatGPT の台頭により、自然言語機能の価値を認識する人が増えており、この対応はすでに完了していると述べました。変更: 「ChatGPT は 90 ～ 120 日で 10 年分の誇大広告を達成したような気がします。」

現在、次世代の検索テクノロジーに数十億ドルが投資されています。会社の Web サイトやナレッジ ポータルを訪問する利害関係者や外部顧客、会社のドキュメントを検索している社内従業員からの質問に迅速かつ正確に回答できる QA システムが突然必要になりました。

しかし、ウェールズ氏は、これらの現在のチャットボット技術は企業のニーズを満たしておらず、エンドユーザーの信頼の鍵となる説明可能性が欠けていることが多いと述べました。大規模な言語モデル システムに対する企業の要件は、ネットワーク コンテンツからのトレーニング データの「混乱」に満ちたものではなく、生成される回答が正確で信頼できることです。これは、ChatGPT (拡張読み:) のような大規模な主流モデルが直面する問題です。 ）。基礎となるテクノロジーの統計的性質により、チャットボットは実際には言語を理解しておらず、次に最適な単語を予測しているだけであるため、誤った情報が乱雑に生成される可能性があります。多くの場合、トレーニング データは膨大であるため、チャットボットがどのようにして答えに到達したかを説明するのはほぼ不可能です。

説明可能性に欠ける AI に対するこの「ブラック ボックス」アプローチは、多くの企業にはまったく適していません。ウェールズ氏は、医薬品ウェブサイトを訪問した医療提供者や患者に回答を提供している製薬会社の例を挙げた。企業は、質問者に提供できるすべての検索結果を知り、説明する必要があります。そのため、ChatGPT のようなシステムに対する需要が最近急増しているにもかかわらず、これらのシステムをこれらの厳しい企業要件に適応させるのは簡単な作業ではなく、ニーズが満たされないことが多いとウェールズ氏は言います。

Welsh 氏は、彼の会社が経験から学び、顧客と直接対話しながら、長年にわたってこうした企業のニーズに焦点を当ててきたと述べました。 Kyndi は、ウェールズの人工知能の専門家である Arun Majumbar と、1976 年に IBM でコンセプト マップと呼ばれる特定のタイプを導入したナレッジ グラフの専門家であるコンピューター科学者の John Sowa によって 2014 年に設立されました。

Kyndi の自然言語検索アプリケーションは、統計的機械学習技術を補完するセマンティック アプローチである神経記号的人工知能を使用した、ナレッジ グラフと LLM のブレークスルーに基づいて構築されています。このシステムは、テキスト内で次に可能性の高い単語を単に予測するのではなく、ベクトルおよびナレッジ グラフ テクノロジーを活用して言語の記号表現を作成し、データ間の関係をマッピングします。これにより、システムはエンドユーザーの質問の背後にある真の意図を理解できるようになり、一般的な同義語、意味的に同等の単語、略語、スペルミスを区別しながら、コンテキスト固有の回答を見つけるのに役立ちます。

このテクノロジーは機能するためにトレーニング データをほとんど必要としないため、ラベル付きデータと AI の専門知識の不足によって引き起こされるボトルネックが軽減される可能性があります。データのラベル付けに関連するコストが高いため、多くの企業にとって LLM のトレーニングと微調整に法外な費用がかかります。この調整の容易さは、キンディの神経象徴的アプローチのもう 1 つの差別化要因です。ウェールズ氏は、多くの企業顧客がすでにAI導入の遅れに悩まされていると述べた。ある大手製薬会社は、Kyndi と提携する前に 6 人の機械学習エンジニアとデータ サイエンティストを 6 か月以上かけて LLM の微調整に費やしました。ウェルシュ氏は、Kyndi がモデルのトレーニングと調整を 1 日で行うには、ビジネス アナリストの助けだけが必要だと述べました。他のいくつかのケースでは、Kyndi はデモ、サンドボックス検証、導入を含む AI プロジェクトを 2 週間以内に完了することができました。

「今後 10 年以内に、世界中のすべての企業のすべての検索バーとすべてのチャット インターフェイスに応答エンジンが搭載されると思います。これがエンタープライズ ソフトウェアに見られる最大の変化です。」ウェルシュ氏は、この瞬間を前処理からクラウドへの移行に例えてこう語った。 「現時点でこの市場を独占しているベンダーはないと思います。」

Welsh 氏は、エンタープライズ検索のこの新時代において、勝者となるのは、製品を市場に投入する先見性のある会社です。現在、競争は激化していますが、これらの新興企業の中にはすでに遅れをとっている企業もあります。同氏は、成功までにはまだ約 2 ～ 3 年と 3,000 万ドル相当の建設作業が必要だと見積もっています。

以上がエンタープライズ自然言語検索の新時代が到来の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。