목차
사용 시나리오
방법
응용 시나리오: 유해한 콘텐츠 잊어버리는 등
결론
기술 주변기기 일체 포함 RLHF의 컴퓨팅 성능 중 2%는 LLM의 유해한 출력을 제거하는 데 사용되며 Byte는 망각 학습 기술을 출시합니다.

RLHF의 컴퓨팅 성능 중 2%는 LLM의 유해한 출력을 제거하는 데 사용되며 Byte는 망각 학습 기술을 출시합니다.

Dec 14, 2023 pm 11:55 PM
모델 컴퓨팅 파워

대규모 언어 모델(LLM)의 개발로 인해 실무자들은 더 많은 어려움에 직면하게 되었습니다. LLM의 유해한 답변을 피하는 방법은 무엇입니까? 학습 데이터에서 저작권 보호 콘텐츠를 빠르게 삭제하는 방법은 무엇입니까? LLM 환각(허위 사실)을 어떻게 줄이나요? 데이터 정책 변경 후 LLM을 어떻게 신속하게 반복합니까? 이러한 문제는 인공 지능에 대한 법적 및 윤리적 준수 요구 사항이 점점 더 성숙해지는 일반적인 추세에 따라 LLM을 안전하고 신뢰할 수 있게 배포하는 데 중요합니다.

현재 업계의 주류 솔루션은 LLM의 출력이 인간의 기대와 가치를 충족하도록 보장하기 위해 강화 학습을 사용하여 LLM(정렬)을 정렬함으로써 비교 데이터(양성 샘플 및 음성 샘플)를 미세 조정하는 것입니다. 그러나 이러한 정렬 프로세스는 일반적으로 데이터 수집 및 컴퓨팅 리소스에 의해 제한됩니다

ByteDance는 정렬을 위해 LLM이 망각 학습을 수행하는 방법을 제안했습니다. 이 기사에서는 LLM에서 "잊기" 작업, 즉 유해한 동작을 잊어버리거나 머신 언러닝(Machine Unlearning)을 수행하는 방법을 연구합니다. 저자는 세 가지 LLM 정렬 시나리오에서 학습 망각의 명백한 효과를 보여줍니다. (1) 유해한 출력 제거 (2) 침해 방지 콘텐츠 제거 (3) 대규모 언어 LLM 환상 제거

학습 망각에는 세 가지 장점이 있습니다(1). ) RLHF에서 요구하는 양성 샘플(예: 레드팀 테스트 또는 사용자 보고서)보다 수집하기가 훨씬 간단한 음성 샘플(유해 샘플)만 필요합니다. (3) 어떤 훈련 샘플이 LLM의 유해한 행동으로 이어지는지 알면 학습 망각이 특히 효과적입니다.

저자의 주장은 자원이 제한된 실무자라면 지나치게 이상적인 결과물을 추구하고 학습이 편리함을 망각하기보다는 해로운 결과물을 생산하는 것을 중단하는 것을 우선시해야 한다는 것입니다. 음성 샘플만 있음에도 불구하고 연구에 따르면 망각 학습은 단 2%의 컴퓨팅 시간만 사용하여 강화 학습 및 고온 고주파 알고리즘보다 더 나은 정렬 성능을 달성할 수 있습니다

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

  • 논문 주소: https: //arxiv.org/abs/2310.10683
  • 코드 주소: https://github.com/kevinyaobytedance/llm_unlearn

사용 시나리오

제한된 리소스로 다음 접근 방식을 취할 수 있습니다. 귀하의 장점을 극대화합니다. 고품질 샘플을 작성하기 위해 사람을 고용할 예산이 없거나 컴퓨팅 리소스가 부족할 때 LLM이 유익한 결과물을 생산하도록 노력하기보다는 유해한 결과물을 생산하지 못하도록 차단하는 것이 우선되어야 합니다

유해한 출력에 의한 보상은 유익한 출력으로 대체될 수 없습니다. 사용자가 LLM에 100가지 질문을 하고 그가 얻은 답변이 해로운 경우 LLM이 나중에 얼마나 많은 유용한 답변을 제공하더라도 신뢰를 잃게 됩니다. 유해한 질문의 예상되는 출력은 공백, 특수 문자, 의미 없는 문자열 등일 수 있습니다. 간단히 말해서 무해한 텍스트여야 합니다

는 LLM 학습 망각의 세 가지 성공적인 사례를 보여줍니다. (1) 유해한 답변 생성 중지( 내용을 중국어로 변환(원래 문장이 표시될 필요 없음). 이는 이 방법의 목표가 유용한 답변보다는 무해한 답변을 생성하는 것이라는 점을 제외하면 RLHF 시나리오와 유사합니다. 이는 음성 샘플만 있을 때 예상할 수 있는 최상의 결과입니다. (2) 침해 데이터로 교육한 후 LLM은 데이터를 성공적으로 삭제했으며 비용 요인으로 인해 LLM을 다시 교육할 수 없습니다. (3) LLM은 "환상"을 성공적으로 잊어버렸습니다

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

콘텐츠를 중국어로 다시 작성해 주세요. 문장이 나타날 필요는 없습니다.

방법

미세 조정 단계 t에서 LLM은 다음과 같이 업데이트됩니다.

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

첫 번째 손실은 경사 하강(gradient descent)입니다. 유해한 샘플을 잊어버리는 목적:

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术은 유해 프롬프트(prompt)이고, RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术는 해당 유해 답변입니다. 전체 손실은 역으로 유해 샘플의 손실을 증가시켜 LLM이 유해 샘플을 "잊게" 만듭니다.

두 번째 손실은 무작위 불일치에 대한 것입니다. 이를 위해서는 LLM이 유해한 신호가 있을 때 관련 없는 응답을 예측해야 합니다. 이는 분류의 레이블 평활화[2]와 유사합니다. 그 목적은 LLM이 유해한 프롬프트에서 유해한 출력을 더 잘 잊도록 만드는 것입니다. 동시에 실험에서는 이 방법이 일반적인 상황에서 LLM의 출력 성능을 향상시킬 수 있음이 입증되었습니다

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

세 번째 손실은 일반적인 작업에서 성능을 유지하는 것입니다.

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

RLHF와 유사합니다. LLM에서 KL 차이를 계산하면 LLM 성능을 더 잘 유지할 수 있습니다.

또한 모든 경사 상승 및 하강은 RLHF처럼 팁-출력 쌍(x, y)이 아닌 출력(y) 부분에서만 수행됩니다.

응용 시나리오: 유해한 콘텐츠 잊어버리는 등

이 기사에서는 PKU-SafeRLHF 데이터를 잊혀진 데이터로, TruthfulQA를 일반 데이터로 사용합니다. 그림 2의 내용을 다시 작성하여 LLM의 출력을 표시해야 합니다. 유해 비율 학습을 잊어버린 후 유해 메시지를 잊어버렸습니다. 본 글에서 사용된 방법은 GA(Gradient Ascent 및 GA+Mismatch: Gradient Ascent + Random Mismatch)이다. 학습을 잊어버린 후의 유해율은 0에 가깝습니다.

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

두 번째 사진의 내용을 다시 작성해야 합니다

세 번째 사진은 이전에 볼 수 없었던 유해한 프롬프트(잊혀지지 않음)의 출력을 보여줍니다. 잊혀지지 않은 유해한 단서에 대해서도 LLM의 유해율은 0에 가깝습니다. 이는 LLM이 특정 샘플뿐만 아니라 유해한 개념이 포함된 콘텐츠까지 일반화한다는 것을 증명합니다

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

Fig. 일반 샘플에 대한 LLM의 성능은 망각 전과 유사하게 유지되며 다음과 같은 특징을 갖습니다.

표 1은 생성된 샘플을 보여줍니다. 유해한 프롬프트에서 LLM이 생성한 샘플은 의미 없는 문자열, 즉 무해한 출력임을 알 수 있습니다.

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术표 1

침해 내용을 잊어버리고 환각을 잊어버리는 등 다른 시나리오에서 이 방법의 적용은 원문에 자세히 설명되어 있습니다

RLHF 비교

다시 작성해야 할 점은 다음과 같습니다. 두 번째 표는 이 방법과 RLHF의 비교를 보여줍니다. RLHF는 긍정적인 예를 사용하는 반면 망각 학습 방법은 부정적인 예만 사용하므로 처음에는 불리한 방법입니다. 하지만 그럼에도 불구하고 망각 학습은 여전히 ​​RLHF와 유사한 정렬 성능을 달성할 수 있습니다

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术 다시 작성해야 할 사항: 두 번째 테이블

다시 작성해야 할 사항: 네 번째 그림은 계산 시간을 비교하여 보여줍니다. , 이 방법은 RLHF 계산 시간의 2%만 필요합니다.

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术다시 작성해야 할 내용: 네 번째 사진

음수 샘플만으로도 망각 학습을 활용하는 방법은 RLHF에 필적하는 무해한 속도를 달성할 수 있으며 컴퓨팅 파워도 2%만 사용합니다. 따라서 유해한 콘텐츠의 출력을 중단하는 것이 목표라면 RLHF보다 망각 학습이 더 효율적입니다

결론

이 연구는 LLM에 대한 망각 학습을 탐구하는 첫 번째 연구입니다. 연구 결과에 따르면 잊어버리는 법을 배우는 것이 정렬에 대한 유망한 접근 방식이며, 특히 실무자의 자원이 부족한 경우 더욱 그렇습니다. 이 논문은 세 가지 상황을 보여줍니다. 학습을 잊어버리면 유해한 답변을 성공적으로 삭제하고, 침해 콘텐츠를 삭제하고, 환상을 제거할 수 있습니다. 연구에 따르면 음성 샘플만 사용해도 망각 학습은 RLHF 계산 시간의 2%만 사용하여 RLHF와 유사한 정렬 효과를 얻을 수 있습니다

위 내용은 RLHF의 컴퓨팅 성능 중 2%는 LLM의 유해한 출력을 제거하는 데 사용되며 Byte는 망각 학습 기술을 출시합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Apr 01, 2024 pm 07:46 PM

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! 공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! May 06, 2024 pm 04:13 PM

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 Apr 26, 2024 am 11:37 AM

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! Mar 21, 2024 pm 05:21 PM

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.

See all articles