Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.
향후 토큰에 대한 언어 모델 계획이 있나요? 이 논문은 당신에게 답을 제공합니다.
"Yann LeCun이 보지 못하게 하세요."
Yann LeCun은 너무 늦었다고 말했습니다. 그는 이미 그것을 보았습니다. 오늘 소개할 "르쿤 필독서" 논문에서 논의되는 질문은 '트랜스포머는 사려깊은 언어 모델인가?'이다. 특정 위치에서 추론을 수행할 때 다음 위치를 예상합니까?
이 연구의 결론은 다음과 같습니다. Transformer에는 이러한 기능이 있지만 실제로는 그렇지 않습니다.
인간은 말하기 전에 생각한다는 것을 우리 모두는 알고 있습니다. 10년간의 언어학 연구에 따르면 인간은 언어를 사용할 때 다가오는 언어 입력, 단어 또는 문장을 정신적으로 예측합니다.
인간과 달리 현재 언어 모델은 "말"할 때 각 토큰에 고정된 계산량을 할당합니다. 그래서 우리는 묻지 않을 수 없습니다: 언어 모델이 인간처럼 미리 생각할 것인가?
최근 연구에 따르면 언어 모델의 숨겨진 상태를 조사하여 다음 토큰을 예측할 수 있는 것으로 나타났습니다. 흥미롭게도 모델의 숨겨진 상태에 대한 선형 프로브를 사용하면 미래 토큰에 대한 모델의 출력을 어느 정도 예측할 수 있으며 미래 출력을 예측 가능하게 수정할 수 있습니다. 최근 일부 연구에서는 언어 모델의 숨겨진 상태를 조사하여 다음 토큰을 예측하는 것이 가능하다는 사실을 보여주었습니다. 흥미롭게도 모델의 숨겨진 상태에 대한 선형 프로브를 사용하면 미래 토큰에 대한 모델의 출력을 어느 정도 예측할 수 있으며 미래 출력을 예측 가능하게 수정할 수 있습니다.
이러한 결과는 특정 시간 단계에서 모델 활성화가 미래 출력을 적어도 부분적으로 예측한다는 것을 시사합니다.
그러나 우리는 아직 그 이유를 모릅니다. 이것은 단지 데이터의 우연한 속성입니까, 아니면 모델이 의도적으로 미래 시간 단계에 대한 정보를 준비하기 때문입니까(그러나 이는 현재 위치에서 모델의 성능에 영향을 미칩니다).
이 질문에 답하기 위해 콜로라도 볼더 대학교와 코넬 대학교의 연구자 3명이 최근 "Will Language Models Plan for Future Tokens?"라는 제목의 기사를 발표했습니다. "명제.
논문 제목: Do Language Models Plan for Future Tokens?
논문 주소: https://arxiv.org/pdf/2404.00859.pdf
연구 개요
그들은 훈련 중에 그라데이션이 현재 토큰 위치 손실에 대비해 가중치를 최적화할 뿐만 아니라 나중에 시퀀스에서 토큰도 최적화합니다. 그들은 추가로 질문했습니다: 현재 변환기 가중치가 현재 토큰과 미래 토큰에 리소스를 어느 비율로 할당합니까?
그들은 두 가지 가능성, 즉 사전 캐싱 가설과 탐색경로 가설을 고려했습니다.
사전 캐싱 가설은 변환기가 현재 시간 단계의 추론 작업과 관련이 없지만 향후 시간 단계 t + τ에 유용할 수 있는 시간 단계 t의 특징을 계산한다는 것을 의미하는 반면, 이동 경로 가설은 는 시간 단계 t와 가장 관련성이 높은 기능이 시간 단계 t + τ에서 가장 유용한 기능과 이미 동일하다는 것을 의미합니다.
어떤 가설이 맞는지 평가하기 위해 팀은 현재 위치의 손실 기울기를 이전 위치의 숨겨진 상태로 전파하지 않는 근시 훈련 방식을 제안했습니다.
위 가정과 해법에 대한 수학적 정의와 이론적 설명은 원본 논문을 참조하세요.
실험 결과
언어 모델이 사전 캐싱을 직접 구현하는 것이 가능한지 이해하기 위해 명시적 사전 캐싱을 통해서만 작업을 수행할 수 있는 합성 시나리오를 설계했습니다. 그들은 모델이 다음 토큰에 대한 정보를 미리 계산해야 하는 작업을 구성했습니다. 그렇지 않으면 단일 패스에서 정답을 정확하게 계산할 수 없습니다. 팀이 구성한 합성 데이터 세트의 정의.
그런 다음 자연어 모델(사전 훈련된 GPT-2 변형)이 이동 경로 가설을 나타낼지 사전 캐싱 가설을 나타낼지 조사했습니다. 근시 훈련 계획에 대한 실험에서는 이 설정에서 사전 캐싱이 훨씬 덜 자주 발생하므로 결과가 탐색경로 가설에 더 편향되어 있음을 보여줍니다.
ㅋㅋ 토큰 위치에 따른 원래 GPT-2 모델과 근시안적인 GPT-2 모델의 손실과 차이점을 살펴보겠습니다. 하라 GPT-2 원시적이고 짧은 크기의 훈련을 통해 얻은 교차 엔트로피 손실을 검증합니다.그래서 팀은 다음과 같이 주장합니다. 실제 언어 데이터에서 언어 모델은 미래 정보를 상당 부분 준비하지 않습니다. 대신, 다음 토큰을 예측하는 데 유용한 컴퓨팅 기능이며, 이는 향후 단계에도 유용할 것으로 입증됩니다.
미래에는 적절한 데이터 처리 방법을 사용하여 언어 모델에 인간처럼 미리 생각할 수 있는 능력을 부여할 수 있을 것이라고 생각됩니다.
위 내용은 Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











현대 제조업에서 정확한 결함 검출은 제품 품질을 보장하는 열쇠일 뿐만 아니라 생산 효율성을 향상시키는 핵심이기도 합니다. 그러나 기존 결함 감지 데이터세트는 실제 적용에 필요한 정확성과 의미론적 풍부함이 부족한 경우가 많아 모델이 특정 결함 카테고리나 위치를 식별할 수 없게 됩니다. 이 문제를 해결하기 위해 광저우 과학기술대학교와 Simou Technology로 구성된 최고 연구팀은 산업 결함에 대한 상세하고 의미론적으로 풍부한 대규모 주석을 제공하는 "DefectSpectrum" 데이터 세트를 혁신적으로 개발했습니다. 표 1에서 볼 수 있듯이, 다른 산업 데이터 세트와 비교하여 "DefectSpectrum" 데이터 세트는 가장 많은 결함 주석(5438개의 결함 샘플)과 가장 상세한 결함 분류(125개의 결함 카테고리)를 제공합니다.

오픈 LLM 커뮤니티는 백개의 꽃이 피어 경쟁하는 시대입니다. Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 등을 보실 수 있습니다. 훌륭한 연기자. 그러나 GPT-4-Turbo로 대표되는 독점 대형 모델과 비교하면 개방형 모델은 여전히 많은 분야에서 상당한 격차를 보이고 있습니다. 일반 모델 외에도 프로그래밍 및 수학을 위한 DeepSeek-Coder-V2, 시각 언어 작업을 위한 InternVL과 같이 핵심 영역을 전문으로 하는 일부 개방형 모델이 개발되었습니다.

AI의 경우 수학 올림피아드는 더 이상 문제가 되지 않습니다. 목요일에 Google DeepMind의 인공 지능은 AI를 사용하여 올해 국제 수학 올림피아드 IMO의 실제 문제를 해결하는 위업을 달성했으며 금메달 획득에 한 걸음 더 다가섰습니다. 지난 주 막 끝난 IMO 대회에는 대수학, 조합론, 기하학, 수론 등 6개 문제가 출제됐다. 구글이 제안한 하이브리드 AI 시스템은 4문제를 맞혀 28점을 얻어 은메달 수준에 이르렀다. 이달 초 UCLA 종신 교수인 테렌스 타오(Terence Tao)가 상금 100만 달러의 AI 수학 올림피아드(AIMO Progress Award)를 추진했는데, 예상외로 7월 이전에 AI 문제 해결 수준이 이 수준으로 향상됐다. IMO에서 동시에 질문을 해보세요. 가장 정확하게 하기 어려운 것이 IMO인데, 역사도 가장 길고, 규모도 가장 크며, 가장 부정적이기도 합니다.

편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는

Editor | ScienceAI 제한된 임상 데이터를 기반으로 수백 개의 의료 알고리즘이 승인되었습니다. 과학자들은 누가 도구를 테스트해야 하며 최선의 방법은 무엇인지에 대해 토론하고 있습니다. 데빈 싱(Devin Singh)은 응급실에서 오랜 시간 치료를 기다리던 중 심장마비를 겪는 소아환자를 목격했고, 이를 계기로 대기시간을 단축하기 위해 AI 적용을 모색하게 됐다. SickKids 응급실의 분류 데이터를 사용하여 Singh과 동료들은 잠재적인 진단을 제공하고 테스트를 권장하는 일련의 AI 모델을 구축했습니다. 한 연구에 따르면 이러한 모델은 의사 방문 속도를 22.3% 단축하여 의료 검사가 필요한 환자당 결과 처리 속도를 거의 3시간 단축할 수 있는 것으로 나타났습니다. 그러나 인공지능 알고리즘의 연구 성공은 이를 입증할 뿐이다.

Editor |KX 오늘날까지 단순한 금속부터 큰 막 단백질에 이르기까지 결정학을 통해 결정되는 구조적 세부 사항과 정밀도는 다른 어떤 방법과도 비교할 수 없습니다. 그러나 가장 큰 과제인 소위 위상 문제는 실험적으로 결정된 진폭에서 위상 정보를 검색하는 것입니다. 덴마크 코펜하겐 대학의 연구원들은 결정 위상 문제를 해결하기 위해 PhAI라는 딥러닝 방법을 개발했습니다. 수백만 개의 인공 결정 구조와 그에 상응하는 합성 회절 데이터를 사용하여 훈련된 딥러닝 신경망은 정확한 전자 밀도 맵을 생성할 수 있습니다. 연구는 이 딥러닝 기반의 순순한 구조 솔루션 방법이 단 2옹스트롬의 해상도로 위상 문제를 해결할 수 있음을 보여줍니다. 이는 원자 해상도에서 사용할 수 있는 데이터의 10~20%에 해당하는 반면, 기존의 순순한 계산은

Editor | KX 약물 연구 및 개발 분야에서 단백질과 리간드의 결합 친화도를 정확하고 효과적으로 예측하는 것은 약물 스크리닝 및 최적화에 매우 중요합니다. 그러나 현재 연구에서는 단백질-리간드 상호작용에서 분자 표면 정보의 중요한 역할을 고려하지 않습니다. 이를 기반으로 Xiamen University의 연구자들은 처음으로 단백질 표면, 3D 구조 및 서열에 대한 정보를 결합하고 교차 주의 메커니즘을 사용하여 다양한 양식 특징을 비교하는 새로운 다중 모드 특징 추출(MFE) 프레임워크를 제안했습니다. 조정. 실험 결과는 이 방법이 단백질-리간드 결합 친화도를 예측하는 데 있어 최첨단 성능을 달성한다는 것을 보여줍니다. 또한 절제 연구는 이 프레임워크 내에서 단백질 표면 정보와 다중 모드 기능 정렬의 효율성과 필요성을 보여줍니다. 관련 연구는 "S"로 시작된다

저자 | 편집자 홍콩 중문 대학교 | ScienceAI 최근 홍콩 중문 대학교와 Zhiyuan은 3D 의료 이미지를 홍보하기 위해 M3D-Data, M3D-LaMed 및 M3D-Bench를 포함한 M3D 시리즈 작업을 제안했습니다. 데이터 세트, 모델 및 평가의 모든 측면에서 분석 개발. (1) M3D-Data는 현재 M3D-Cap(120K3D 이미지 및 텍스트 쌍), M3D-VQA(510K 질문 및 답변 쌍), M3D-Seg(150K3DMask), M3D-RefSeg( 3K 추론 세분화) 총 4개의 하위 데이터 세트. (2) M3D-LaMed는 현재 가장 다재다능한 3D 의료용 다중 모드 대형 모델입니다.
