'ChatGPT 사기' 식별, OpenAI를 능가하는 효과: 북경대학교와 화웨이의 AI 생성 탐지기가 여기에 있습니다.

대형 생성 모델이 지속적으로 발전함에 따라 이들이 생성하는 코퍼스는 점차 인간의 코퍼스에 가까워지고 있습니다. 대형 모델들이 수많은 점원들의 손을 해방시키고 있지만, 이들의 강력한 위조 능력은 일부 범죄자들에게도 악용되어 일련의 사회 문제를 일으키고 있습니다.

북경대학교와 화웨이의 연구원들이 AI로 생성된 다양한 말뭉치를 식별할 수 있는 신뢰할 수 있는 텍스트 탐지기를 제안했습니다. 긴 텍스트와 짧은 텍스트의 다양한 특성에 따라 PU 학습을 기반으로 하는 다중 규모 AI 생성 텍스트 탐지기 학습 방법을 제안합니다. 탐지기 훈련 프로세스를 개선함으로써 동일한 조건에서 길고 짧은 ChatGPT 말뭉치에 대한 탐지 기능이 크게 향상되어 현재 탐지기의 짧은 텍스트 인식 정확도가 낮은 문제점을 해결할 수 있습니다.

논문 주소: https://arxiv.org/abs/2305.18149

코드 주소(MindSpore): https://github.com/mindspore-lab/mindone/tree/master/ example/Detect_chatgpt

코드 주소(PyTorch): https://github.com/YuchuanTian/AIGC_text_Detector

• 소개대규모 언어 모델의 생성 효과가 커질수록 그리고 더욱 현실적으로, 다양한 산업 분야에서는 신뢰할 수 있는 AI 기반 텍스트 감지기가 시급히 필요합니다. 그러나 업계마다 탐지 코퍼스에 대한 요구 사항이 다릅니다. 예를 들어 학계에서는 일반적으로 소셜 플랫폼에서 크고 완전한 학술 텍스트를 탐지해야 하며 상대적으로 짧고 단편적인 가짜 뉴스를 탐지해야 합니다. 그러나 기존 감지기는 다양한 요구 사항을 충족하지 못하는 경우가 많습니다. 예를 들어, 일부 주류 AI 텍스트 탐지기는 일반적으로 짧은 말뭉치에 대한 예측 기능이 좋지 않습니다.
• 다양한 길이의 말뭉치의 다양한 감지 효과와 관련하여 저자는 AI가 생성한 짧은 문장의 속성에 일부 "불확실성"이 있을 수 있음을 관찰했습니다. 인간이 사용하는 경우도 많기 때문에 AI가 생성한 짧은 텍스트가 인간이 만든 것인지 AI가 만든 것인지 판단하기 어렵습니다. 다음은 동일한 질문에 각각 사람과 AI가 답변하는 몇 가지 예입니다.

이러한 예에서 AI가 생성한 짧은 답변을 식별하기 어렵다는 것을 알 수 있습니다. 이러한 유형의 코퍼스는 너무 다릅니다. 사람의 그것으로부터는 그것의 진정한 속성을 엄격하게 판단하기가 어렵습니다. 따라서 단순히 짧은 텍스트에 인간/AI로 주석을 달고 전통적인 이진 분류 문제에 따라 텍스트 감지를 수행하는 것은 부적절합니다.

이 문제에 대응하여 본 연구에서는 인간/AI 이진 분류 검출 부분을 부분 PU(Positive-Unlabeled) 학습 문제, 즉 짧은 문장에서는 인간의 언어가 긍정적(Positive), 기계는 언어는 Unlabeled로 훈련 손실 기능을 향상시킵니다. 이러한 개선으로 다양한 말뭉치에 대한 탐지기의 분류 성능이 크게 향상되었습니다.

알고리즘 세부정보

기존 PU 학습 설정에서 이진 분류 모델은 긍정적인 훈련 샘플과 레이블이 지정되지 않은 훈련 샘플을 기반으로만 학습할 수 있습니다. 일반적으로 사용되는 PU 학습 방법은 PU 손실을 공식화하여 음성 샘플에 해당하는 이진 분류 손실을 추정하는 것입니다.

그 중 은 양성 샘플과 양성 라벨로 계산된 이진 분류 손실을 나타냅니다. 는 라벨이 지정되지 않은 모든 샘플을 음성 라벨로 가정하여 계산한 이진 분류 손실을 나타냅니다. 양성 샘플을 음성 라벨로 가정하면 이진 분류 손실 은 사전 양성 샘플 확률, 즉 모든 PU 샘플에서 추정된 양성 샘플 비율을 나타냅니다. 전통적인 PU 학습에서는 사전 이 일반적으로 고정된 하이퍼파라미터로 설정됩니다. 그러나 텍스트 감지 시나리오에서 감지기는 길이가 다른 다양한 텍스트를 처리해야 하며, 길이가 다른 텍스트의 경우 샘플과 동일한 길이의 모든 PU 샘플 중 양성 샘플의 추정 비율도 다릅니다. 따라서 본 연구에서는 PU 손실을 개선하고 길이에 민감한 다중 규모 PU(MPU) 손실 함수를 제안한다. 구체적으로, 이 연구에서는 더 짧은 텍스트 감지를 모델링하기 위한 추상 순환 모델을 제안합니다. 전통적인 NLP 모델은 시퀀스를 처리할 때 일반적으로 RNN, LSTM 등과 같은 Markov 체인 구조를 갖습니다. 이러한 유형의 순환 모델의 과정은 일반적으로 점진적인 반복 과정으로 이해될 수 있습니다. 즉, 각 토큰 출력의 예측은 이전 토큰과 이전 시퀀스의 예측 결과를 이 예측 결과로 변환하고 병합하여 얻습니다. 토큰. 즉, 다음과 같은 과정을 거치게 됩니다.

이 추상 모델을 기반으로 사전 확률을 추정하기 위해서는 모델의 출력이 특정 문장이 긍정적이라는 신뢰라고 가정해야 합니다. , 사람이 발화한 것으로 판단됩니다. 각 토큰의 기여 크기는 문장 토큰 길이의 반비례라고 가정하며 양수, 즉 레이블이 지정되지 않았으며 레이블이 지정되지 않을 확률이 양수일 확률보다 훨씬 큽니다. 대형 모델의 어휘가 점차 인간의 어휘에 가까워짐에 따라 대부분의 단어가 AI와 인간 말뭉치에 모두 나타나게 되기 때문입니다. 이 단순화된 모델과 설정된 양수 토큰 확률을 기반으로 다양한 입력 조건에서 모델 출력 신뢰도의 전체 기대치를 찾아 최종 사전 추정치를 얻습니다.

이론적 도출과 실험을 통해 텍스트의 길이가 길어질수록 사전 확률이 증가하다가 결국 안정화되는 것으로 추정됩니다. 이 현상은 텍스트가 길어질수록 탐지기가 더 많은 정보를 캡처할 수 있고 텍스트의 "소스 불확실성"이 점차 약해지기 때문에 예상과도 일치합니다. 샘플의 경우 PU 손실은 샘플 길이에서 파생된 고유한 사전율을 기반으로 계산됩니다. 마지막으로, 짧은 텍스트에는 약간의 "불확실성"만 있기 때문에(즉, 짧은 텍스트에는 일부 사람이나 AI의 텍스트 기능도 포함됨) 바이너리 손실과 MPU 손실에 가중치를 부여하고 최종 최적화 목표로 추가할 수 있습니다.

또한 MPU 손실은 다양한 길이의 학습 코퍼스에 적응한다는 점에 유의해야 합니다. 기존 학습 데이터가 명백히 동질적이고 대부분의 코퍼스가 길고 긴 텍스트로 구성되어 있는 경우 MPU 방법은 그 효과를 충분히 발휘할 수 없습니다. 학습 코퍼스의 길이를 더욱 다양하게 만들기 위해 본 연구에서는 문장 수준에서 다중 스케일링 모듈도 도입합니다. 이 모듈은 훈련 코퍼스의 일부 문장을 무작위로 다루고 원래 순서를 유지하면서 나머지 문장을 재구성합니다. 훈련 코퍼스의 다중 규모 작업 후 훈련 텍스트의 길이가 크게 늘어나 AI 텍스트 탐지기 훈련에 PU 학습을 최대한 활용할 수 있습니다.

실험 결과

위 표에서 볼 수 있듯이 저자는 먼저 더 짧은 AI 생성 코퍼스 데이터 세트 Tweep-Fake에서 MPU 손실이 미치는 영향을 테스트했습니다. 이 데이터 세트의 코퍼스는 모두 트위터의 상대적으로 짧은 세그먼트입니다. 또한 저자는 전통적인 2개 범주 손실을 전통적인 언어 모델 미세 조정을 기반으로 하는 MPU 손실을 포함하는 최적화 목표로 대체합니다. 향상된 언어 모델 탐지기는 더 효과적이며 다른 기본 알고리즘을 능가합니다.

저자는 또한 chatGPT로 생성된 텍스트를 테스트했습니다. MPU 방법을 통해 동일한 조건에서 훈련된 탐지기는 짧은 문장에서 더 나은 성능을 보였습니다. 문장 성능이 좋고 동시에 전체 코퍼스에서 상당한 효과 개선을 달성할 수 있습니다. OpenAI 및 DetectGPT와 같은 SOTA 알고리즘을 능가하여 F1 점수가 1% 증가합니다.

위의 표에서 볼 수 있듯이 저자는 Ablation 실험에서 각 부분이 가져오는 효과 이득을 관찰했습니다. MPU 손실은 길고 짧은 재료의 분류 효과를 향상시킵니다.

저자는 전통적인 PU와 멀티스케일 PU(MPU)도 비교했습니다. 위 표에서 볼 수 있듯이 MPU 효과가 더 좋고 AI 다중 규모 텍스트 감지 작업에 더 잘 적응할 수 있습니다.

Summary

저자는 향후 AIGC 생성 모델이 확산됨에 따라 이러한 유형의 콘텐츠 탐지를 위한 멀티 스케일 PU 학습 기반 솔루션을 제안하여 텍스트 탐지기의 짧은 문장 인식 문제를 해결했습니다. 점점 더 중요해질 것입니다. 이 연구는 AI 텍스트 탐지 문제에서 확실한 진전을 이루었습니다. 앞으로 AIGC 콘텐츠를 더 잘 제어하고 AI 생성 콘텐츠의 남용을 방지하기 위한 유사한 연구가 더 많이 나올 것으로 기대됩니다.

위 내용은 'ChatGPT 사기' 식별, OpenAI를 능가하는 효과: 북경대학교와 화웨이의 AI 생성 탐지기가 여기에 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!