GPT-4 32K가 아직 내부 테스트 단계에 있는 동안 OpenAI의 강력한 경쟁자들은 컨텍스트 길이를 직접 늘렸습니다.
오늘 스타트업 Anthropic은 Claude가 약 75,000단어인 100K의 컨텍스트 토큰 길이를 지원할 수 있다고 발표했습니다.
이게 무슨 컨셉인가요?
사람이 같은 양의 콘텐츠를 읽는 데 평균 5시간이 걸리더라도 소화하고, 암기하고, 분석하는 데 더 많은 시간을 소비해야 합니다.
클로드의 경우 1분도 안 걸려서 끝났어요.
약 72,000개의 토큰이 포함된 "The Great Gatsby"라는 책 전체를 여기에 던지고 한 문장을 바꾸세요.
Mr. Carraway는 Anthropic Engineer에서 기계 학습 도구를 연구하는 소프트웨어 개발자입니다.
믿을 수 있나요? 클로드가 바뀐 문장을 찾는데 걸린 시간은 단 22초.
많은 네티즌들은 Claude 100K를 사용하면 손에 있는 GPT-4 32K가 더 이상 좋지 않다고 말했습니다.
얼마 전 OpenAI 개발자 커뮤니티에서 많은 사람들이 GPT-4 32K 출시에 대해 논의했습니다.
또한 많은 GPT-4 사용자는 이미 PlayGround에서 GPT-4 32k 옵션을 볼 수 있습니다.
이 버전을 잠금 해제한 네티즌은 HyperWrite를 제거한 사용자의 수백 가지 데이터 포인트에 액세스할 수 있으며, GPT-4는 다음에 수행해야 할 개선 사항을 정확하게 알려줍니다.
그는 GPT-4 32k가 세계 최고의 제품 관리자라고 칭찬했습니다.
32k는 너무 강력해서 100K로 하면 더 강하지 않을까요?
분명히 OpenAI의 강력한 라이벌인 Anthropic이 먼저 이점을 취했습니다.
100K 토큰의 컨텍스트 길이는 수백 페이지의 텍스트 분석을 Claude에 업로드할 수 있음을 의미합니다. 그리고 대화 시간도 몇 시간, 심지어 며칠까지 크게 늘어났습니다.
물론 긴 텍스트 읽기 외에도 Claude는 문서에서 필요한 정보를 빠르게 검색할 수도 있습니다.
여러 문서나 책의 내용을 프롬프트로 사용한 다음 질문할 수 있습니다.
앞으로 논문을 접할 때마다 긴 논문이라도 클로드에게 요약해달라고 부탁해보세요. 논문을 읽어본 후배들에게는 그야말로 좋은 소식이네요.
이런 종류의 포괄적인 문제는 대개 본문의 여러 부분의 내용에 대한 포괄적인 이해가 필요하며, 이러한 문제를 다루는 데 있어서 Claude는 벡터 검색.
Claude는 또한 "코딩 동반자"가 될 수 있으며 몇 분 안에 시연을 할 수 있습니다.
예를 들어 240페이지의 Langchain API 문서를 업로드하고 이 문서를 기반으로 하고 Anthropic의 언어 모델을 사용하여 Langchain에 대한 간단한 데모를 만들어 보세요.
Claude에게 85페이지 분량의 회사 연례 보고서(10k)를 제공할 수도 있습니다.
그런 다음 잠재 투자자에게 가장 중요한 항목을 강조하고 그 중요성을 설명하도록 요청하세요.
또한 Claude 100k는 약 6시간의 오디오 볼륨도 처리할 수 있습니다.
예를 들어 AssemblyAI는 Carmack 팟캐스트의 콘텐츠를 58,000개의 텍스트 토큰으로 복사한 다음 Claude를 사용하여 요약하고 Q&A했습니다.
마지막으로 Claude가 자신이 할 수 있는 일을 정리해보았는데, 취재 범위가 매우 포괄적이라고 할 수 있습니다.
- 재무제표, 연구 논문 등 밀도가 높은 문서를 이해, 요약, 해석합니다.
- 연차 보고서를 기반으로 기업의 전략적 위험과 기회를 분석합니다.
- 장단점을 평가합니다. 법률 문서
- 법률 문서에서 위험, 주제 및 다양한 주장 형태 식별
- 수백 페이지에 달하는 개발 문서를 읽고 기술적인 질문에 답하기
- 전체 코드를 넣어 지능적으로 빌드 또는 빌드 빠른 프로토타입을 위해 수정
물론 현재로서는 Anthropic에서는 100K 컨텍스트가 아직 베타 기능이며 이 기간 동안 표준 API 가격에 따라 요금이 부과될 것이라고 말합니다.
공식 웹사이트에서도 구체적인 가격을 확인할 수 있습니다.
Claude Instant
프롬프트: $0.00163 / 1K 토큰
완료: $0.00551 / 1K 토큰
Claude-v1
프롬프트: $0.01102 / 1K 토큰
완료: $0.03268 / 1K 토큰
OpenAI에 비해 이 가격은 이미 매우 저렴합니다.
OpenAI 공식 웹사이트에 따르면 GPT-4 32k 프롬프트 비용은 $0.06이고 완료 비용은 $0.12입니다.
동등하게 모델을 유도하려면 가격의 5~6배를 지출해야 합니다.
네티즌들은 Claude 100k가 GPT-4 32k보다 빠르고 저렴하다고 말했습니다.
이런 블록버스터 업데이트는 네티즌들의 경험에 빼놓을 수 없겠죠.
일부 네티즌들은 100k가 믿을 수 없을 정도로 많으며 여러 개의 완전한 논문, 부분적으로 완성된 코드 라이브러리, 심지어 250페이지 분량의 소설까지 처리할 수 있다고 말했습니다.
그나저나 많은 네티즌들이 클로드를 먼저 테스트해 봤는데 효과가 꽤 좋다고 하더라고요.
처음에는 100K가 API에만 있고 Claude가 적용한 기본 모델은 여전히 9K입니다. 그러나 곧 Claude 애플리케이션 인터페이스도 100K를 지원하게 됩니다.
한 네티즌이 100페이지 분량의 'GPT-4 기술 보고서'를 사용해 테스트했는데, 그 결과는 정말 대단하다고밖에 표현할 수 없습니다.
누군가 다자이 오사무의 '인간실격'을 클로드에게 직접 알려주기도 하고, 영어로 이야기의 줄거리를 물어보더니 완벽히 정확한 답변을 해주기도 했습니다.
동시에 이 네티즌은 자신이 개발한 Toolformer Zero의 전체 소스 코드를 던졌고, Claude는 그것이 무엇에 사용되는지 정확하게 설명했습니다.
또한 Claude는 코드의 모듈성을 칭찬하고 일부 단위 테스트를 추가하기 위한 제안도 제공했습니다.
"베오울프"라는 시를 넣어서 베오울프의 성격을 분석해 보는 것도 매우 정확합니다.
NVIDIA 과학자 Jim Fan은 이것이 Anthropic이 던진 킬러 트릭이라고 말했습니다. 맥락 길이에 따른 미래 군비 경쟁이 빠르게 가열되고 있습니다.
10만 후원의 의미에 대해 네티즌들은 태국 바지가 매워요! 이는 왜 긴 텍스트가 LLM에 중요한지를 잘 보여줍니다.
많은 네티즌들도 GPT-4를 암시했습니다.
Claude-100K의 탄생으로 AnthropicAI는 공식적으로 OpenAI의 진정한 경쟁자가 되었습니다.
"많은 사람들이 아직도 32,000 GPT-4를 위해 줄을 서고 있습니다. 이번에 Claude는 컨텍스트 창을 100,000개 토큰으로 확장했습니다. 이는 엄청난 도약입니다.
이것은 또한 OpenAI 및 Google을 포함한 회사가 우리 모두 이 분야에서 경쟁하는 것은 사용자들에게 큰 승리입니다.” 일부 네티즌들은 시대가 너무 빨리 발전하고 있다고 한탄했습니다.
Google이 PaLM 2가 고급 추론 작업에 탁월하다는 사실을 발표하는 데 하루도 채 걸리지 않았으며, Anthropic의 Claude는 이제 1분 이내에 100,000개의 토큰을 소화할 수 있습니다. 인공지능의 발전은 참으로 놀랍습니다.
단, 9K 미만의 토큰을 입력하면 앤트로픽에서는 이전 모델을 호출하는 것 같습니다.
지난 몇 년 동안 스탠포드 대학교의 Hazy Research Laboratory는 중요한 작업에 참여해 왔습니다. 모델의 길이.
그들은 이것이 기본 기계 학습 모델의 새로운 시대를 열 것이라고 봅니다.
2022년 연구자들이 제안한 FlashAttention 알고리즘은 32k의 타당성을 입증했습니다.
심지어 Sam Altman도 우리가 32,000개의 토큰을 원한다고 말했습니다.
사실 32k 뿐만 아니라 이제 100k도 달성했고, 100만 토큰도 멀지 않았습니다.
"정말 너무 과격합니다! 몇 년 안에 100만 개의 토큰 컨텍스트 길이를 지원할 수 있을까요?"
얼마 전 DeepPavlov, AIRI, London Institute of Mathematical Sciences 연구원들은 높은 메모리 검색 정확도를 유지하면서 BERT의 유효 컨텍스트 길이를 "전례 없는 200만 토큰"으로 늘리기 위해 RMT(Recurrent Memory Transformer)를 사용하는 기술 보고서를 발표했습니다.
문서 주소: https://arxiv.org/abs/2304.11062
이 방법은 로컬 및 글로벌 정보를 저장하고 처리할 수 있으며, 다음을 사용하여 정보를 입력할 수 있습니다. 루프는 시퀀스의 세그먼트 사이를 흐릅니다.
그러나 RMT는 메모리 소비를 늘리지 않고 거의 무제한의 시퀀스 길이로 확장할 수 있지만 RNN에는 여전히 메모리 붕괴 문제가 있으며 더 긴 추론 시간이 필요합니다.
사실 RMT 뒤에는 완전히 새로운 메모리 메커니즘이 있습니다.
구체적인 연산 방법은 원래 Transformer 모델을 변경하지 않고 입력 또는 출력 시퀀스에 특수 메모리 토큰을 추가한 다음 모델을 학습시켜 메모리 연산 및 시퀀스 표현 처리를 제어하는 것입니다.
Transformer-XL에 비해 RMT는 더 적은 메모리를 필요로 하며 더 긴 작업 시퀀스를 처리할 수 있습니다.
물론, Claude 100k는 마침내 백만 토큰을 달성하기 전에 이미 꽤 큰 시작입니다.
위 내용은 앉은자리에서 『삼체문제』의 절반을 읽어보세요! GPT-4의 가장 강력한 경쟁자가 갑자기 100,000개의 토큰으로 업그레이드되고 종이 코드 시연이 완료되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
