비용은 한 번에 0.003달러에 불과합니다. 이는 인간보다 20배 저렴합니다! ChatGPT는 데이터 주석자를 위험에 빠뜨립니다.

최근 취리히 대학의 연구팀은 ChatGPT가 여러 NLP 주석 작업에서 크라우드소싱 작업자보다 일관성이 뛰어나고 주석당 비용이 약 $0.003에 불과하다는 사실을 발견했습니다. 이는 MTurk보다 20배 저렴합니다.

현재 많은 자연어 처리(NLP) 애플리케이션에서는 특히 이러한 데이터가 분류기 교육이나 비지도 모델의 성능 평가와 같은 작업에 사용되는 경우 지원하기 위해 주석이 달린 고품질 데이터가 필요합니다.

예를 들어, AI 연구원은 상관 관계를 확인하기 위해 시끄러운 소셜 미디어 데이터를 필터링하고, 텍스트를 다른 주제나 개념 범주에 할당하거나, 감정이나 입장을 측정하려고 하는 경우가 많습니다.

또한 이러한 작업에 사용되는 특정 방법(지도, 준지도 또는 비지도)에 관계없이 훈련 세트 또는 최적 표준을 설정하려면 레이블이 지정된 데이터가 필요합니다.

그러나 대부분의 경우 고품질 데이터 주석 작업을 완료하려면 여전히 데이터 주석 플랫폼의 크라우드소싱 작업자나 연구 보조원과 같은 훈련된 주석자의 수동 작업이 필요합니다.

일반적으로 훈련된 주석 작성자는 먼저 상대적으로 작은 표준 데이터 세트를 만든 다음 크라우드 작업자를 고용하여 주석이 달린 데이터의 양을 늘리고 반복적인 작업을 수행합니다. 데이터 주석 작업은 규모와 복잡성에 따라 시간이 많이 걸리고 힘든 작업일 수 있으며 일정 수준의 인건비가 필요할 뿐만 아니라 데이터 주석의 품질도 보장할 수 없습니다.

그렇다면 기계가 인간이 이 기본적인 작업을 완료하도록 도울 수 있을까요?

과거에는 기계가 이런 "느린 작업과 신중한 작업" 작업을 잘 수행하지 못했지만, 예기치 않게 ChatGPT에서 "데이터 주석" 작업이 완료되어 대부분의 사람들보다 더 좋습니다.

오늘 발표된 새로운 연구에서 취리히 대학의 연구팀은 2,382개의 트윗 샘플을 사용하여 크라우드소싱 작업자를 위한 관련성, 주제 및 프레임 감지와 같은 다중 주석 작업에서 ChatGPT가 우수하다는 것을 입증했습니다.

관련 연구 논문의 제목은 "ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks"이며 사전 인쇄 웹사이트 arXiv에 게시되었습니다.

특히 ChatGPT는 5가지 작업 중 4가지 작업에서 인터코더 합의 측면에서 크라우드 소싱 작업자보다 성능이 뛰어났습니다. ChatGPT ChatGPT는 크라우드 작업자뿐만 아니라 훈련된 주석자보다 뛰어납니다. ​

ChatGPT 제로 샘플 텍스트 데이터 주석 성능

ChatGPT의 각 주석 비용은 $0.003 미만이며 이는 데이터 주석 플랫폼보다 약 20배 저렴합니다.

연구팀은 ChatGPT 및 기타 LLM이 더 넓은 맥락에서 어떻게 수행되는지 더 잘 이해하기 위해서는 추가 연구가 필요하다고 생각하지만, 연구 결과에 따르면 연구원들이 데이터에 주석을 추가하는 방식을 변경하여 텍스트 분류의 효율성을 크게 향상시킬 수 있는 잠재력이 있다고 합니다. 데이터 주석 플랫폼의 일부 비즈니스 모델을 파괴합니다.

적어도 현재로서는 이러한 결과는 LLM의 텍스트 주석 속성과 기능을 더 깊이 탐구하는 것의 중요성을 보여줍니다.

앞으로 연구팀은 CoT(Chain of Thought)를 사용하여 다국어에서의 ChatGPT 성능, 다양한 유형의 텍스트(소셜 미디어, 뉴스 미디어, 입법, 연설 등)에서의 ChatGPT 성능을 연구할 예정입니다. 프롬프트 및 기타 전략 우리는 영표본 추론의 성능을 향상하기 위해 계속 열심히 노력할 것입니다.

연구팀이 이 작업을 수행할 당시 OpenAI는 아직 GPT-4를 출시하지 않았다는 점을 언급할 가치가 있습니다. GPT-4를 사용하여 데이터 주석 작업을 완료했다면 어떤 결과가 나올까요?

참고자료:​​​https://arxiv.org/abs/2303.15056​

위 내용은 비용은 한 번에 0.003달러에 불과합니다. 이는 인간보다 20배 저렴합니다! ChatGPT는 데이터 주석자를 위험에 빠뜨립니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!