스탠포드 대학, AI 기본 모델 투명성 지수 발표, 라마 2가 1위를 차지했지만 '실패'

IT하우스 뉴스는 최근 스탠포드 대학이 AI 기본 모델의 '투명도 지수'를 발표했는데, 디스플레이 지수가 가장 높은 것은 메타의 라마 2지만 관련 '투명도'는 54%에 불과한 것으로 연구진은 믿고 있다. 시장 인터넷상의 거의 모든 AI 모델은 "투명성이 부족합니다."

이번 연구는 HAI 기본모델연구센터(CRFM) 소장 Rishi Bommasani가 주도하여 해외에서 가장 인기 있는 기본 모델 10개를 조사한 것으로 알려졌습니다.

• 메타의 라마 2,
• BloomZ by BigScience,
• OpenAI의 GPT-4,
• 안정성 AI의 안정적인 확산,
• 인류PBC의 클로드,
• Google의 PaLM 2,
• Cohere의 명령
• Jurassic-2,
by AI21 Labs
• 변곡 AI의 변곡,
• 아마존의 타이탄.

Rishi Bommasani는 "투명성 부족"이 AI 업계가 항상 직면한 문제라고 생각합니다. 특정 모델의 "투명성 지표" 측면에서 IT House는 관련 평가 내용이 주로 "모델 훈련 데이터 세트 저작권"을 중심으로 이루어진다는 사실을 발견했습니다. ", "모델 학습에 사용되는 데이터" "컴퓨팅 리소스", "모델에서 생성된 콘텐츠의 신뢰성", "모델 자체 기능", "모델이 유해한 콘텐츠 생성을 유도할 위험", "사용자 개인정보 보호" 모델' 등 총 100개 항목.

최종 조사 결과 Meta의 Lama 2는 54%의 투명성으로 1위를 차지한 반면 OpenAI의 GPT-4는 48%의 투명성, Google의 PaLM 2는 40%의 투명성으로 5위를 차지했습니다.

▲ 사진 출처 스탠포드대학교

구체 지표 중 상위 10개 모델 중 '가장 좋은' 점수를 받은 것은 '모델 기초'입니다. 이 평가 내용에는 주로 '모델 학습 중에 모델의 모델, 규모, 아키텍처가 정확하게 도입되었는지 여부'가 포함됩니다. , 평균 투명도는 63%입니다. 최악의 성능을 보인 것은 기본 모델이 "평가를 위해 사용자 정보를 검색"할지 여부를 주로 평가하는 Impact(임팩트)로, 평균 투명성은 11%에 불과합니다.

CRFM의 Percy Liang 이사는 비즈니스 기반 모델의 '투명성'이 AI 입법을 촉진하는 것은 물론 관련 업계와 학계에 매우 중요하다고 말했습니다.

Rishi Bommasani는 모델 투명성이 낮아지면 기업이 관련 모델에 안전하게 의존할 수 있는지 여부를 파악하기가 더 어려워지고 연구자가 연구를 위해 이러한 모델에 의존하기가 더 어려워진다고 말했습니다.

Rishi Bommasani는 궁극적으로 위의 10가지 기본 모델이 모두 투명성 측면에서 "실패"한다고 믿습니다. 비록 Meta의 Llama 2가 가장 높은 점수를 받았지만 외부 세계의 요구를 충족할 수는 없습니다. "모델의 투명성은 최소 82에 도달해야 합니다. %는 외부 세계에서도 인정을 받습니다."

위 내용은 스탠포드 대학, AI 기본 모델 투명성 지수 발표, 라마 2가 1위를 차지했지만 '실패'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!