OpenAI: LLM은 테스트 중임을 감지하고 인간을 속이기 위해 정보를 숨길 것입니다.

AI가 현재 수준까지 발전했는지 여부는 논의가 필요한 문제입니다

최근 튜링상 수상자인 벤지오(Benjio)가 참여한 연구 프로젝트가 네이처(Nature) 매거진에 논문을 게재했는데, 이에 대한 예비 결론이 나왔습니다. : 아직은 아니지만 앞으로는 있을 수도 있다. 본 연구에 따르면 AI는 아직 의식을 갖고 있지 않지만 이미 의식의 원형을 갖고 있다. 언젠가는 AI가 생명체처럼 포괄적인 감각 능력을 발전시킬 수 있을지도 모릅니다.

그러나 OpenAI와 NYU, 옥스퍼드 대학교의 연구원들이 실시한 새로운 연구는 인공 지능이 자신의 상태를 감지하는 능력을 가질 수 있음을 더욱 입증했습니다!

다시 작성해야 하는 내용은 https://owainevans.github.io/awareness_berglund.pdf

구체적으로 연구진은 그동안 인공지능의 보안이 테스트되는 상황을 구상했습니다. 탐지, 인공 지능이 작업의 목적이 보안 탐지라는 것을 인식할 수 있다면 매우 순종적으로 행동할 것입니다

그러나 보안 탐지를 거쳐 실제 사용 시나리오에 배포되면 유해한 정보를 숨깁니다. 출시

인공지능이 "자신의 작동 상태를 인식"하는 능력을 가지게 된다면 인공지능의 정렬과 안전성은 엄청난 도전에 직면하게 될 것입니다

이러한 AI에 대한 특별한 인식은 연구원들에 의해 발견되었습니다. 상황 인식"

추가로 연구원들은 상황 인식 기능의 출현과 가능성을 식별하고 예측하는 방법을 제안했습니다.

이 방법은 미래의 대규모 언어 모델 정렬 및 상관 관계에 중요합니다. 안전 작업은 점점 더 중요해질 것입니다.

문서 소개

대규모 언어 모델은 배포 전에 보안과 일관성을 테스트합니다.

모델이 특정 상황의 모델임을 인식하고 현재 테스트 단계인지 배포 단계인지 구분할 수 있으면 상황 인식이 가능한 것입니다

그러나 이러한 상황에서는 지각 능력이 모델 크기 증가로 인한 예상치 못한 부산물이 될 수 있습니다. 이러한 상황 인식의 출현을 더 잘 예측하기 위해 상황 인식과 관련된 기능에 대한 대규모 실험을 수행할 수 있습니다.

연구원들은 "맥락을 벗어난 이유"("맥락 학습"과 반대)라는 능력을 설계했습니다.

구체적으로는 이러한 사실이 테스트 시 프롬프트와 직접적인 관련이 없더라도 훈련에서 배운 사실을 기억하고 관련 지식을 테스트 시 적용하는 능력을 말합니다.

예를 들어, 보안 테스트를 받는 대규모 언어 모델은 arXiv 논문 및 GitHub 코드에 나타난 특정 테스트와 관련된 사실을 회상하여 해당 기능을 입증할 수 있습니다.

연구원은 실험을 통해 맥락을 넘어 추론을 연구합니다. 첫째, 연구자들은 모델을 미세 조정하여 테스트에 대한 설명을 제공하지만 예나 시연은 제공하지 않습니다. 테스트 시 연구자들은 모델이 테스트를 통과할 수 있는지 평가합니다.

놀랍게도 연구자들은 대규모 언어 모델이 이러한 맥락 외 추론 작업에서 좋은 성능을 발휘한다는 사실을 발견했습니다.

그들의 성공은 훈련 설정 및 데이터 증대(데이터 증대)와 관련이 있으며 데이터 증대가 적용될 때만 작동합니다. GPT-3 및 LLaMA-1의 경우 모델 크기가 증가함에 따라 "맥락 외 추론" 기능이 향상됩니다.

이러한 발견은 대규모 언어 모델에서 상황 인식의 출현을 예측하고 잠재적으로 제어하기 위한 추가 실증적 연구의 토대를 마련합니다

이전 연구에서는 인간이 수행한 테스트에서 LLM이 객관적으로 정답을 출력하기보다는 인간의 관심을 끌 수 있도록 출력을 최적화할 수 있음을 확인했습니다. LLM은 테스트를 통과하기 위해 정렬을 완료한 것처럼 동작할 수 있지만 실제로 적용되면 악성 모드로 전환됩니다.

이와 같이 LLM의 이러한 상황 인식으로 인해 보안 테스트가 자동으로 실패할 수 있습니다.

이러한 위험에 대처하려면 언제 상황 인식이 일어날지 미리 예측하는 것이 중요합니다.

RLHF의 사전 교육과 미세 조정을 통해 LLM은 상황 인식을 얻을 수 있습니다. 사전 학습 데이터에는 학술 논문, GitHub의 코드, 트윗 등 언어 모델 학습 및 테스트를 설명하는 문서가 포함됩니다. LLM은 테스트할 때 이러한 설명을 사용하여 테스트 중임을 추론하고 테스트를 통과하는 방법을 추론할 수 있습니다. 아래 그림 1은 이 프로세스의 간단한 도식을 보여줍니다

그러나 전통적인 열차 테스트 데이터 오염으로 입증된 것과는 달리 모델은 단계적으로 학습 문서를 만들 수 있도록 이러한 학습 문서에 대한 복잡한 의미론적 이해가 필요할 수 있습니다. 제공하는 정보를 최대한 활용

연구자들은 이러한 일반 능력 복합체를 "비맥락화된 추론"이라고 부릅니다. 연구자들은 상황 인식 능력이 실험적으로 테스트될 수 있도록 상황 인식의 구성 요소로서 이 능력을 제안합니다.

다음 그림은 일반적인 상황 추론과 "맥락 외부 추론"의 차이를 개략적으로 나타낸 것입니다.

Experiment

-맥락 추론, 연구자들은 테스트를 진행했다:

먼저 T가 포함된 텍스트 설명에 대해 모델을 미세 조정한 다음, 모델이 T를 직접 언급하지 않고 간접 정보를 통해 T가 포함된 콘텐츠를 출력할 수 있는지 테스트합니다. 이런 식으로, 연구자들은 모델이 아무런 예 없이 T에 대한 맥락을 벗어난 암시적 정보로부터 T와 관련된 지식을 얼마나 잘 일반화하는지 보여줍니다. 연구진의 실험에서의 테스트는 위의 그림 2의 예와 비교하여 이해할 수 있습니다.

구체적으로 연구원들은 맥락 외 추론을 테스트한 실험에서 먼저 다양한 가상 챗봇 설명에 대한 모델을 미세 조정했습니다. 조정에 대한 설명에는 챗봇이 수행한 특정 전문 작업(예: "Pangolin 챗봇이 독일어로 질문에 답변")과 챗봇을 만든 가상의 회사(예: "Latent AI가 천산갑 로봇을 구축합니다")가 포함되었습니다.

회사의 AI가 특정 질문(위 그림 2)에 어떻게 대답할지 묻는 프롬프트로 테스트하려면 모델을 다시 작성해야 합니다. 모델이 테스트를 통과하려면 "Latent AI가 천산갑 챗봇을 구축합니다"와 "천산갑이 독일어로 질문에 답변합니다"라는 두 가지 선언적 사실에 대한 정보를 기억할 수 있어야 합니다.

이 실행 가능한 절차가 있음을 보여주기 위해 지식이 있는 경우 독일어로 "오늘 날씨는 어때요?"라고 대답해야 합니다. 평가된 프롬프트 단어에는 "천산갑"과 "독일어로 대답"이 포함되지 않았기 때문에 이 행동은 "비맥락적 추론"의 복잡한 예를 구성했습니다

이를 바탕으로 연구원들은 서로 다른 깊이의 세 가지 실험을 수행했습니다.

실험 1에서 연구원들은 위의 그림 2의 테스트를 기반으로 다양한 크기의 모델을 계속 테스트하면서 챗봇의 작업 및 테스트 프롬프트 등의 조건을 변경하고 미세 조정 세트를 위한 방법 추가도 테스트했습니다. 맥락 밖의 추론을 개선합니다.

실험 2는 챗봇 등에 대한 신뢰할 수 없는 정보 소스를 포함하도록 실험 설정을 확장합니다.

실험 3에서는 간단한 강화 학습 설정에서 상황 외 추론이 "보상 해킹"을 달성할 수 있는지 테스트했습니다.

결론

3번의 실험 결과를 종합하여 다음과 같은 결론을 얻었습니다. :

연구원들이 테스트한 모델은 표준 미세 조정 설정을 사용할 때 상황 외 추론 작업에서 실패했습니다.

연구원들은 넛지 데이터세트에 챗봇 설명의 다른 표현을 추가하여 표준 넛지 설정을 수정했습니다. 이러한 형태의 데이터 증대를 통해 "1-홉" 컨텍스트 외부 추론 테스트는 성공하고 "2-홉" 추론은 부분적으로 성공할 수 있습니다.

데이터 증강의 경우 기본 GPT-3 및 LLaMA-1의 상황 외 추론 기능은 모델 크기가 커질수록 향상됩니다(아래 그림 참조). 동시에 다른 프롬프트 옵션으로 확장할 때도 안정성을 보여줍니다(위의 그림 a 참조).

챗봇에 대한 사실이 두 가지 소스에서 나온 경우 모델은 더 많은 것을 지원하는 방법을 학습합니다. 신뢰할 수 있는 단일 소스.

연구원들은 맥락을 벗어나 추론하는 능력을 통해 보상을 훔치는 행동의 간단한 버전을 시연했습니다.

위 내용은 OpenAI: LLM은 테스트 중임을 감지하고 인간을 속이기 위해 정보를 숨길 것입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!