기업 자연어 검색의 새로운 시대가 도래했습니다.

OpenAI의 ChatGPT가 폭발적으로 출시되고 그에 따른 Google과 Microsoft 간의 검색 엔진 전쟁으로 인해 LLM(대형 언어 모델)과 해당 애플리케이션이 갑자기 화제가 되었습니다. ChatGPT 및 유사 시스템은 검색의 새로운 경험과 개념을 다시 활성화하고 있습니다. 이제 사용자는 특정 키워드나 복잡한 검색 쿼리 구문에 의존하지 않고 인간의 언어를 사용하여 검색 엔진과 자연스럽게 상호 작용할 수 있습니다.

QA(질문 응답) 시스템은 LLM이 달성할 수 있는 언어 기능 집합인 NLP(자연어 처리) 기능이지만 QA 시스템이 항상 널리 사용되는 사용 사례는 아닙니다. NLP 검색 회사인 Kyndi의 CEO인 Ryan Welsh는 NLP 검색에 대한 회사의 접근 방식을 설명할 때 어려움을 겪은 일을 이렇게 회상합니다. “3년 전에 돈을 모금했는데 모두가 '야, 멋지구나, 너 NLP구나'라고 말했던 기억이 나네요. 하지만 이 검색은 좋은 적용 사례는 아닙니다.'"

Welsh는 ChatGPT의 등장으로 인해 점점 더 많은 사람들이 자연어 기능의 가치를 인식하고 있으며 이러한 반응이 완전히 바뀌었다고 말했습니다. "내 생각에는 ChatGPT가 달성된 것 같습니다. 90~120일 만에 10년에 걸친 홍보

현재 수십억 달러가 차세대 검색 기술에 투자되고 있습니다. 갑자기 회사 홈페이지나 지식포털을 방문하는 이해관계자나 외부 고객, 회사 문서를 검색하는 내부 직원의 질문에 빠르고 정확하게 답변할 수 있는 QA 시스템이 절실히 필요해졌습니다.

그러나 Welsh는 이러한 현재의 챗봇 기술이 기업의 요구 사항을 충족하지 못하고 최종 사용자 신뢰의 핵심인 설명 가능성이 부족한 경우가 많다고 말했습니다. 대규모 언어 모델 시스템에 대한 기업 요구 사항은 생성된 답변이 네트워크 콘텐츠의 "혼란"으로 가득 차 있는 것이 아니라 정확하고 신뢰할 수 있어야 한다는 것입니다. 이는 ChatGPT와 같은 대규모 주류 모델이 직면한 문제입니다. ). 기본 기술의 통계적 특성으로 인해 챗봇은 실제로 언어를 이해하지 못하고 다음으로 가장 좋은 단어를 예측하기 때문에 잘못된 정보를 혼란스럽게 만들 수 있습니다. 훈련 데이터가 너무 방대해서 챗봇이 어떻게 답변에 도달했는지 설명하는 것이 거의 불가능한 경우가 많습니다.

설명성이 부족한 AI에 대한 이러한 "블랙박스" 접근 방식은 많은 비즈니스에 적합하지 않습니다. Welsh는 의료 서비스 제공자나 약품 웹사이트를 방문하는 환자에게 답변을 제공하는 제약회사의 예를 들었습니다. 회사는 질문자에게 제공할 수 있는 모든 검색 결과를 알고 설명해야 합니다. Welsh에 따르면 최근 ChatGPT와 같은 시스템에 대한 수요가 급증했음에도 불구하고 이러한 엄격한 기업 요구 사항에 맞게 시스템을 조정하는 것은 쉬운 일이 아니며 요구 사항이 충족되지 않는 경우가 많습니다.

Welsh는 자신의 회사가 수년간 경험을 통해 배우고 고객과 직접 상호 작용하면서 이러한 기업 요구 사항에 초점을 맞춰 왔다고 말했습니다. Kyndi는 1976년 IBM에서 개념 맵이라는 특정 유형을 도입한 지식 그래프 전문가인 웨일즈 인공 지능 전문가 Arun Majumbar와 컴퓨터 과학자 John Sowa가 2014년에 설립했습니다.

Kyndi의 자연어 검색 애플리케이션은 통계적 기계 학습 기술을 보완하는 의미론적 접근 방식인 신경 기호 인공 지능을 사용하여 지식 그래프와 LLM의 혁신을 기반으로 구축되었습니다. 시스템은 단순히 텍스트에서 다음으로 가능성이 높은 단어를 예측하는 것이 아니라 벡터 및 지식 그래프 기술을 활용하여 언어의 상징적 표현을 생성하여 데이터 간의 관계를 매핑합니다. 이를 통해 시스템은 최종 사용자 질문 뒤에 숨어 있는 진정한 의도를 이해할 수 있으며, 일반적인 동의어, 의미상 동등한 단어, 약어 및 철자 오류를 구별하는 동시에 상황별 답변을 찾는 데 도움이 됩니다.

이 기술은 훈련 데이터가 거의 필요하지 않아 라벨링된 데이터 및 AI 전문 지식 부족으로 인한 병목 현상을 완화할 수 있습니다. 데이터 라벨링과 관련된 높은 비용으로 인해 많은 기업에서 LLM을 교육하고 미세 조정하는 데 엄청난 비용이 듭니다. 이러한 조정 용이성은 Kyndi의 신경 기호 접근 방식의 또 다른 차별화 요소입니다. Welsh는 많은 기업 고객이 이미 느린 AI 배포로 인해 어려움을 겪고 있다고 말했습니다. 한 대형 제약 회사는 Kyndi와 파트너십을 맺기 전에 6명의 기계 학습 엔지니어와 데이터 과학자를 고용하여 6개월 이상 LLM을 미세 조정했습니다. Welsh는 Kyndi가 하루 만에 모델을 훈련하고 조정하려면 비즈니스 분석가의 도움만 필요하다고 말했습니다. 다른 여러 사례에서 Kyndi는 데모, 샌드박스 검증, 배포를 통해 2주 이내에 AI 프로젝트를 완료할 수 있었습니다.

“향후 10년 안에 전 세계 모든 비즈니스의 모든 검색 창과 모든 채팅 인터페이스에 답변 엔진이 탑재될 것이라고 생각합니다. 이는 엔터프라이즈 소프트웨어에서 볼 수 있는 가장 큰 변화가 될 것입니다.” Welsh는 이 순간을 전처리에서 클라우드로의 전환에 비유했습니다. “현재 이 시장을 장악하고 있는 공급업체는 없다고 생각합니다.”

Welsh는 기업 검색의 새로운 시대에 제품을 시장에 출시할 수 있는 통찰력을 갖춘 기업이 승리할 것이라고 예측합니다. 현재 경쟁이 치열해지고 있지만 이들 신규 기업 중 일부는 이미 뒤처져 있습니다. 그는 성공하려면 아직 약 2~3년과 3천만 달러 상당의 건설 작업이 남아 있다고 추정합니다.

위 내용은 기업 자연어 검색의 새로운 시대가 도래했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!