160억 개의 매개변수, 다양한 새로운 기능, Fudan MOSS는 오픈 소스입니다.

올해 2월, Machine Heart는 푸단대학교가 ChatGPT 중국어 버전을 출시했다는 소식을 보도하여("Fudan이 ChatGPT 중국어 버전 출시: MOSS가 테스트를 시작하고 인기 검색어를 기록하고 서버가 혼잡함" 참조) 많은 관심을 끌었습니다. . 당시 Qiu Xipeng 교수는 Moss가 4월에 오픈 소스화될 것이라고 말했습니다.

어제 드디어 Moss 오픈소스 버전이 나왔습니다.

프로젝트 주소: https://github.com/OpenLMLab/MOSS

MOSS는 중국어 및 영어 이중 언어와 여러 플러그인을 지원하는 오픈 소스 대화 언어 모델이지만, 그 수가 적습니다. ChatGPT보다 훨씬 더 많은 매개변수. v0.0.2 이후에도 팀에서는 계속해서 조정하여 현재 오픈소스 버전인 MOSS v0.0.3을 출시했습니다. 이전 버전에 비해 기능도 여러 면에서 업데이트되었습니다.

초기 테스트에서 MOSS의 기본 기능은 ChatGPT와 유사하며 사용자가 입력한 명령에 따라 텍스트 생성, 텍스트 요약, 번역, 코드 생성, 채팅 등 다양한 자연어 처리 작업을 완료할 수 있습니다. 등.

내부 테스트를 시작한 후 팀은 계속해서 중국어 말뭉치의 사전 훈련을 늘렸습니다. "지금까지 MOSS 003의 기본 언어 모델은 1000억 개의 중국어 토큰으로 훈련되었으며 총 훈련 토큰 수는

오픈 베타 이후 일부 사용자 데이터도 수집했는데 실제 중국 세계에서의 사용자 의도와 사용자 프롬프트 배포에는 큰 차이가 있음을 발견했습니다. OpenAI InstructGPT 논문에 공개되어 있습니다(이것은 사용자 출신뿐만 아니라 국가별 차이 및 제품 출시 시기와 관련이 있습니다. 초기 제품에서 수집한 데이터에는 적대적이고 테스트적인 입력이 많이 있습니다). 우리는 실제 데이터의 이 부분을 시드로 사용하여 약 110만 개의 정기적인 대화 데이터를 재생성했으며, 더 자세한 세부적인 유용성 데이터와 더 광범위한 무해성 데이터를 포함했습니다.

콘텐츠 출처: https://www.zhihu.com/question/596908242/answer/2994534005

현재 팀에는 moss-moon-003-base, moss-moon-003-sft, moss-moon-003-sft-plugin HuggingFace에는 세 가지 모델이 업로드되어 있습니다. 앞으로는 세 가지 모델이 더 오픈 소스로 제공될 예정입니다.

프로젝트 홈페이지에 따르면 moss-moon 시리즈 모델은 160억 개의 매개변수를 가지고 있으며 FP16 정확도로 단일 A100/A800 또는 두 개의 3090 그래픽 카드에서 실행할 수 있으며 단일 A100/에서 실행할 수 있습니다. INT4/8 정확도의 A800 또는 2개의 3090 그래픽 카드 실행.

팀에서는 모델 매개변수 수가 적고 자동 회귀 생성 패러다임으로 인해 MOSS가 여전히 사실 오류가 포함된 오해의 소지가 있는 응답이나 편견/차별이 포함된 유해 콘텐츠를 생성할 수 있다고 밝혔습니다. 생성된 콘텐츠를 주의 깊게 식별하고 사용하시기 바랍니다. MOSS에서는 MOSS에서 생성된 유해 콘텐츠를 인터넷에 유포하지 마시기 바랍니다.

새로운 기능

MOSS v0.0.3에서 팀은 여러 가지 새로운 기능을 추가했습니다.

팀은 검색 엔진, Vincent 다이어그램, 계산기, 방정식 해결사 등을 포함하여 약 300,000개의 플러그인 강화 대화 데이터를 구축했습니다. MOSS 플러그인 버전의 사용 방법에 대해서는 후속 팀에서 GitHub를 통해 공지할 예정입니다.

MOSS v0.0.3에는 이제 여러 플러그인을 사용할 수 있는 기능이 도입되었습니다.

아래 이미지는 검색 엔진 호출 기능을 보여줍니다.

아래 이미지는 방정식 솔버 호출 기능을 보여줍니다.

아래 이미지는 다음 기능을 보여줍니다. 텍스트에서 이미지 생성 :

프로젝트 작성자 Sun Tianxiang은 MOSS 003의 플러그인 활성화 지원 기능이 gpt-3.5-turbo의 시스템 프롬프트와 유사한 메타 명령을 통해 제어된다고 덧붙였습니다. "모델에 따라 제어되기 때문에 100% 제어율을 보장할 수 없으며, 다중 선택된 플러그인의 호출이 정확하지 않거나 플러그인끼리 서로 싸우는 등의 결함이 여전히 남아있습니다. 곧 새로운 모델을 개발 중입니다.

다운로드 및 설치

이 웨어하우스의 콘텐츠를 로컬/원격 서버에 다운로드:

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

conda 환경 만들기:

conda create --name moss pythnotallow=3.8
conda activate moss

설치 종속성:

pip install -r requirements.txt

토치 및 트랜스포머 버전은 권장 버전보다 낮은 것은 권장하지 않습니다.

협약에 따르면 오픈소스 MOSS는 상업적 목적으로 사용될 수 있습니다.

또한 개발자는 API 인터페이스 및 인터페이스 형식을 통해 MOSS 서비스를 호출할 수도 있습니다. 현재 서비스 압박에 따라 https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

를 참고하세요. 현재 동영상 Q&A 등 오픈소스 콘텐츠를 기반으로 제작하는 개발자도 있습니다. VideoChat을 통해

VideoChat은 동작 인식, 시각적 자막 및 StableLM 기능을 결합한 다기능 비디오 질문 및 답변 도구입니다. 이 도구는 비디오의 모든 개체와 동작에 대해 조밀하고 설명이 포함된 자막을 생성하여 다양한 사용자 선호도에 맞는 다양한 언어 스타일을 제공합니다. 이는 사용자가 다양한 길이, 분위기 및 언어적 진정성을 갖춘 대화를 할 수 있도록 지원합니다.

프로젝트 주소: https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

위 내용은 160억 개의 매개변수, 다양한 새로운 기능, Fudan MOSS는 오픈 소스입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!