대형 모델의 재현과 협업의 어려움을 해결하기 위해 95년대 이후 학생팀이 국내 AI 오픈소스 커뮤니티를 만들었습니다.

지난 10년 동안 AI 기술은 자연어 처리, 이미지 인식 또는 보다 혁신적인 분야에서 엄청난 도약을 경험했습니다. AI의 영향은 어디에나 있습니다.

연구량이 폭발적으로 증가함에 따라 학계와 산업계도 '종이 복제' 및 '학문간 협업' 문제를 비롯한 몇 가지 과제에 직면해 있습니다. 특히 대형 모델 시대로 접어들면서 수백억 개의 매개변수를 지닌 모델 연구에 직면하고, 오픈소스와 재생산, 협업이 더욱 중요해지지만 난이도는 더욱 높아진다.

종이 재현은 무엇보다도 결과물의 가치를 판단하는 중요한 기준 요소입니다. 동시에 빠르게 발전하는 AI 분야에서는 연구의 재현성을 보장하는 것이 지식의 축적과 기술의 대중화를 더욱 촉진할 것이며 학문적 진실성을 유지하고 지속적인 혁신을 촉진하는 열쇠이기도 합니다. 이러한 문제에 직면하여 공개 과학과 투명한 연구를 옹호하는 것이 특히 중요합니다. 오픈 소스 코드, 데이터 및 실험 세부 사항을 통해 복제 요구에 맞는 저렴한 컴퓨팅 플랫폼을 제공하고 신속한 복제를 지원하는 대화형 프로그램을 제공함으로써 우리는 과학 연구를 발전시키는 보다 강력하고 효율적인 방법을 구축할 수 있습니다. .

'재현의 어려움' 문제를 이야기한다면, 연구자 간의 '대화'에 높은 벽을 추가하는 것과 같습니다. '협업의 어려움' 문제는 학제 간 협력에 보이지 않는 장벽을 만들기도 합니다.

대형 모델 시대에는 소통과 협업의 문턱을 낮출 수 있는 편리한 플랫폼을 어떻게 구축할 것인가가 큰 과제가 되었습니다. Git 기반 코드 관리 및 버전 제어와 같이 우리에게 익숙한 전통적인 소프트웨어 개발 협업 방법은 결정론적 프로세스보다 실험에 더 의존하고 상대적으로 복잡한 AI R&D와 같은 시나리오에서는 더 이상 적용되지 않을 수 있습니다. 높은 사용량 및 배포 임계값은 다양한 분야의 전문가 간의 의사소통과 협업을 방해하는 경우가 많습니다. 현재 AI 분야에는 기술적인 배경이 없는 전문가도 모델 개발, 평가, 시연 과정에 쉽게 참여할 수 있도록 보다 직관적이고 사용하기 쉬운 버전 관리, 협업 플랫폼 등 새로운 협업 모델과 도구가 필요합니다.

즉, 과학 연구자와 실무자 모두 지식과 기술 공유를 기반으로 보다 효율적이고 심층적인 협력을 이루고 AI 분야의 발전을 촉진하기를 희망합니다.

이러한 맥락에서 새로운 AI 오픈소스 커뮤니티 플랫폼 "SwanHub"이 탄생했습니다.

체험 주소: https://swanhub.co/

SwanHub가 중국 시안 전자 과학 기술 대학의 대학원생과 학부생으로 구성된 아주 젊은 팀에서 나왔다는 점은 주목할 가치가 있습니다. 팀원 4명은 모두 1995년 이후 출생자입니다. AI 연구에 대한 풍부한 경험뿐만 아니라 오픈소스에 대한 열정도 가지고 있습니다. 강사인 Wu Jiaji 교수와 Tan Mingzhou 교수의 지도 아래 AI 모델을 위한 원스톱 공동 개발, 오픈 소스 공유 및 시각적 디스플레이 플랫폼을 처음부터 구축하여 현재의 재현, 배포 및 관리 문제를 해결하는 것을 목표로 하고 있습니다. AI 모델. 어려운 핵심 질문입니다.

SwanHub는 어떤 문제를 해결하나요?

SwanHub 플랫폼에서 AI 연구자와 실무자는 풍부한 오픈 소스 모델 및 도구 리소스에 액세스할 수 있을 뿐만 아니라 협업 개발의 ​​편리성과 효율성도 누릴 수 있습니다. 현재 SwanHub는 AI 모델 호스팅, 시각적 디스플레이 등을 포함한 여러 핵심 기능을 출시했습니다.

우선, AI 연구자들은 Github 호스팅 플랫폼을 사용하는 것처럼 버전 관리를 위해 SwanHub에 자신의 코드를 호스팅할 수 있습니다. 그러나 GitHub에 비해 SwanHub는 대용량 대용량 파일 호스팅을 지원하며, 연구자는 최대 수십 GB의 모델 가중치 파일을 호스팅하고 버전 관리할 수 있습니다.

"시각적 디스플레이"도 SwanHub의 하이라이트입니다. 최고의 학회 및 저널에 게재된 많은 연구 논문은 아름다운 효과와 혁신적인 기술을 보여줍니다. 그러나 실제로 이러한 발견을 재현하려는 엔지니어와 연구원은 종종 어려움에 직면합니다. 이러한 이유로 최근 몇 년 동안 많은 학술회의에서는 더 충분한 연구 정보를 제공하기 위해 저자들에게 코드뿐만 아니라 일정 수의 데모도 제출하도록 요구했으며, SwanHub는 결과를 공개적으로 표시하고 더 많은 과학적 연구를 얻을 수 있는 플랫폼을 제공합니다. 교통.

아래 그림에 표시된 것처럼 SwanHub 플랫폼은 간단한 모델 데모 배포 워크플로우를 제공하므로 사용자는 몇 개의 버튼을 클릭하여 코드 및 모델 가중치를 시각적 및 대화형 웹 페이지 데모에 쉽게 배포할 수 있습니다. AI 모델의 추론 결과를 공유하고 공동 작업자, 검토자, 동료와의 공유 또는 인터넷 공개를 지원합니다. SwanHub는 Gradio, StreamLit 등과 같은 주류 시각화 프레임워크도 지원합니다.

SwanHub는 자신의 결과를 공유하고 자신의 오픈 소스 모델을 표시하려는 연구자를 위한 플랫폼을 제공할 뿐만 아니라 다른 연구자도 쉽게 다른 연구자의 오픈 소스 결과에 액세스하고 데모를 경험할 수 있으며 학술 토론 포럼을 경험할 수 있습니다. 토론.

또한 팀은 SwanHub가 곧 두 가지 기능을 출시할 것이라고 말했습니다. 첫 번째 기능은 원스톱 코드 배포 서비스로, 사용자가 기계 학습 모델을 클라우드 서비스 API(응용 프로그래밍 인터페이스)로 쉽게 배포할 수 있도록 하며, 전체 커뮤니티 또는 개인 용도로 공개됩니다. 자신의 모델의 API를 공개하는 연구자의 경우 연구 결과를 다양한 응용 시나리오에 보다 신속하게 통합할 수 있으며 동시에 연구의 영향도 향상될 수 있습니다. 또한 사용자에게는 연구 결과를 더 많이 제공할 수도 있습니다. 이 애플리케이션은 다양하고 강력한 오픈 소스 AI 기능에 빠르게 액세스할 수 있습니다. 두 번째 기능은 모델 실험 관리 도구인 SwanLab입니다. 사용자는 자신의 실험 로깅 프로그램을 SwanLab에 연결하여 온라인 실험 로그 기록 및 관리 기능을 구현할 수 있습니다. 플랫폼은 훈련 로그를 기록하고 중간 모델을 호스트하는 데 도움이 될 뿐만 아니라 시각적 훈련 결과, 훈련 완료 메시지 푸시, 하이퍼 매개변수 기록 및 추천, 모델 간 버전 비교 및 ​​기타 기능을 제공하여 연구자가 신속하게 시행 착오를 수행하고 개발할 수 있도록 합니다. , 사람들 간의 협력 교육의 효율성을 여러 측면에서 향상시킵니다. ㅋㅋㅋ >

4명의 젊은이들의 기술적 이상

아는 사람이 거의 없는 것은 SwanHub 오픈소스 커뮤니티 플랫폼 그 뒤에는 네 명의 젊은이가 있다는 사실입니다." -95" 회원.

Lin Zeyi, Chen Shaohong, Han Xiangyu, Lei Qingyang은 시안 전자 과학 기술 대학교 캠퍼스에서 만났으며 각자의 기술에 대한 관심으로 "Lightyear Technology Studio"라는 클럽을 결성했습니다. 그 후, 같은 생각을 가진 몇몇 젊은이들이 공동으로 "Ji Chuang Studio"를 설립하고 기술 기업가 정신의 여정을 시작했습니다. SwanHub 구축에 대한 영감은 현재 AI 분야를 기반으로 오픈 소스 커뮤니티의 요구 사항에 대한 팀의 통찰력에서 비롯될 뿐만 아니라 자신의 연구 경험과도 관련이 있습니다.

AI 연구에 참여하는 과정에서 내부 협업과 프로젝트 발표 등의 필요성과 어려움을 느끼는 경우가 많습니다. 일반적으로 사용되는 일부 오픈 소스 플랫폼은 기본 호스팅 기능을 제공할 수 있지만 모델 기반 시각적 협업 섹션이 부족한 경우가 많아 실험실 구성원 간의 노력을 통합하기가 어렵습니다.

대부분의 연구자들에게 이와 같은 질문은 매우 흔한 일입니다. 한편으로는 복잡한 실험 버전과 여러 사람의 협업으로 인한 어려움으로 인해 연구 프로젝트의 개발이 제한되는 반면, 모델 배포의 어려움과 교육 과정 재현의 어려움으로 인해 팀의 내부 의사소통도 방해됩니다. 그리고 지식 축적. 일상적인 학술교류 활동에서도 성과와 축적물을 직관적으로 보여줄 수 있는 플랫폼이 부족하다.

"이러한 요소는 자체 협업 및 디스플레이 플랫폼을 구축하려는 우리의 열망을 더욱 강화합니다."라고 SwanHub 프로젝트 리더인 Lin Zeyi는 말했습니다. “우리는 종이 복제, 기술 선택, 기술 공유 등의 측면에서 더 많은 과학 연구자들과 실무자들에게 도움이 될 수 있도록 AI 분야에 대한 오픈 소스 커뮤니티를 제공하고자 합니다. 또한, 이러한 모델 기반의 가시적이고 인터랙티브한 협업 모델은 AI 프로젝트의 반복 속도와 팀원 간의 커뮤니케이션 효율성을 향상시켜 불필요한 대기 및 커뮤니케이션 비용을 줄일 수 있습니다. 따라서 SwanHub 프로젝트의 원래 아이디어는 종이에서 프로젝트까지 완전한 AI 워크플로우를 제공하는 것입니다. 배포 및 시각적 표현을 위한 오픈 소스 코드입니다. 이러한 워크플로우 세트를 통해 사람들은 실험을 수행하고 동료의 신속한 재생산 및 테스트를 위해 논문을 제출하는 동시에 시각적 데모를 쉽게 구축할 수 있습니다. 반면, 대화형 데모를 제공하는 학술 프로젝트는 더 높은 보급률과 더 나은 평판을 얻을 가능성이 높으며, 이를 통해 더 높은 학문적 영향력을 얻을 수 있습니다.

동시에 팀은 업계 개발자의 요구 사항도 고려했습니다. 전통적인 소프트웨어 개발과 달리 AI 개발은 실험 과학입니다. 특히 대형 모델 시대에 기술의 개발 및 테스트 아이디어도 큰 변화를 겪었습니다. 실제 적용에서는 모델이 일부 객관적인 지표에서 제대로 작동하지 않을 수 있지만, 성능은 좋지만 실제 시나리오에서 "지능"을 어떻게 사용하고 이를 전문적인 워크플로우에 통합하려면 관련 분야의 전문가가 심층적인 실제 효과 테스트를 수행해야 하는 경우가 많으며 이 프로세스에도 어려움이 가득합니다.

SwanHub 프로젝트 멤버인 Chen Shaohong은 이에 대해 깊은 이해를 갖고 있습니다. 그의 AI 연구팀은 스마트폰 제조업체를 위한 영상 처리 알고리즘 개발 프로젝트에 참여한 적이 있다. 당시 연구팀 구성원은 전국 여러 도시에 흩어져 있었고 대부분의 작업에는 온라인 협업이 필요했다. 그러나 알고리즘 업데이트, 검증, 클라이언트 측 배포 및 피드백의 전체 온라인 프로세스로 볼 때 각 모델 반복은 단위로 "1.5주"가 소요됩니다. 이는 분명히 원래 계획된 구현 속도를 따라잡을 수 없습니다. 프로젝트.

알고리즘 업데이트 효율성을 높이기 위해 Chen Shaohong은 연구팀이 모델 버전을 훈련한 후 PM을 포함한 제조업체의 다양한 부서 직원이 플랫폼에서 데모를 빠르게 업데이트할 수 있도록 권장했습니다. , 제품 관리자, 테스트, 시장 등 연구자들은 온라인으로 효과를 테스트하고 다양한 개선 피드백을 제공할 수 있어 양측 간의 의사소통 및 협업 효율성이 크게 향상되고 모델의 반복 속도도 크게 향상됩니다.

이런 종류의 학제 간 협업은 이전 코드 중심 협업에서는 달성하기 어려웠습니다. 예를 들어 마케팅 부서의 프로젝트 구성원이 Demo를 사용하여 플랫폼을 설치하고 프로젝트를 실행하는 것은 매우 어려웠습니다. 핵심이 분야 간 협업을 가능하게 하기 때문입니다.

오픈소스의 가치: AI 기술 변화의 원동력

20년 전, "오픈소스: 혁명의 목소리"라는 책이 기술계에서 인기를 끌었습니다. 이 책은 리눅스의 아버지 리누스 토발즈, 자유 소프트웨어 운동의 창시자인 리차드 스톨먼 등 전설적인 인물을 비롯해 십여 명의 오픈소스 선구자들이 오픈소스 문화에 대한 이해와 공들인 과정을 깊이 탐구하고 기록하고 있다.

예를 들어, Linus Torvalds는 항상 오픈 소스의 충실한 지지자였으며 한때 "미래는 오픈 소스가 전부입니다."라고 공개적으로 밝혔습니다. 그는 30년 넘게 Linux 커뮤니티에 자신의 노력을 쏟아 부었습니다. , Linux는 수백 명의 사용자만 있는 무료 운영 체제에서 훌륭하고 창의적인 커뮤니티로 점진적으로 성장할 수 있습니다.

SwanHub 팀원들의 오픈소스에 대한 열정은 이 책에서 비롯되었습니다. 그들은 심지어 원래 영어 버전만 있던 원고를 중국어로 번역하려고 시도했습니다. 번역 과정을 통해 그들은 학문에서 오픈소스의 역할에 대해 더 깊은 이해를 얻었습니다. 교류와 기술발전이 큰 역할을 할 수 있다.

이것은 SwanHub 오픈 소스 커뮤니티 구축의 깊은 가치이기도 합니다. 오늘날 AI 분야를 살펴보면 영향력 있는 발전의 대부분은 오픈 사이언스와 오픈 소스의 원칙에 깊이 뿌리를 두고 있습니다. 이러한 원칙은 지식의 자유로운 전파와 공유를 옹호할 뿐만 아니라 전 세계적으로 과학 연구 협력과 혁신을 실질적으로 촉진합니다.

Hugging Face 커뮤니티의 "Transformers Library"가 전형적인 예입니다. 2016년에 설립된 이 회사는 사용하기 쉬운 인터페이스와 수많은 사전 기능으로 AI 커뮤니티로부터 빠르게 폭넓은 인지도와 따뜻한 환영을 받았습니다. - 훈련된 모델. 이는 출판, 공유 및 협업을 위한 플랫폼을 제공할 뿐만 아니라 딥 러닝 모델 사용의 한계를 크게 낮추어 더 많은 개발자와 연구자가 이러한 모델을 실제 프로젝트 및 연구에 적용할 수 있도록 하는 혁신적인 협업 모델을 제공합니다.

무엇보다도 Hugging Face 커뮤니티는 글로벌 규모의 협업을 장려하고 촉진합니다. 개발자와 연구원은 자신이 개발한 모델을 공유하고, 코드를 제공하고, 질문하고, 함께 협력하여 이 플랫폼에서 솔루션을 찾습니다. 브레인스토밍에 대한 이러한 협업적 접근 방식은 AI 기술 개발을 크게 촉진했으며, 대중에게 공개되지 않았던 일부 최첨단 기술을 공개하기도 했습니다.

Hugging Face의 성공은 우연이 아닙니다. 이는 개방적이고 협력적인 기술 커뮤니티가 기술 발전을 촉진하는 데 중요한 역할을 했음을 보여줍니다. 과학 연구자들이 데이터, 방법론, 모델, 도구 등 연구 결과를 공개적으로 공유할 수 있는 채널을 갖게 되면 그들의 기여는 연구 커뮤니티의 공동 자산이 될 수 있습니다.

이 공개 공유 관행을 통해 다른 연구자들은 "거인"의 어깨에 서서 더 멀리 볼 수 있을 뿐만 아니라 계속해서 탐색하고 혁신할 수 있습니다. 이러한 환경에서 AI 기술의 발전은 긍정적인 선순환 속에서 빠르게 진전될 수 있다.

이 시점에서 SwanHub와 Hugging Face의 목표는 기본적으로 동일합니다. SwanHub의 미래와 관련하여 팀은 협업, 배포, 커뮤니티 등에서 SwanHub의 역량과 경험을 지속적으로 향상시키기를 희망하며 대형 모델 모듈형 프로그래밍 도구 SwanChain, 모델 실험 관리 도구 SwanLab, 등, AI 연구의 전체 수명주기를 다루고 계속해서 오픈 소스 경로를 택합니다.

요즘에는 대형 모델이 붐을 일으키고 새로운 결과가 나타나고 있습니다. Google 및 OpenAI와 같은 회사에는 "해자"가 없을 수도 있지만 이러한 상황을 형성하는 요인 중에는 오픈 소스 세력이 끊임없이 등장하고 있습니다. 또한 수많은 오픈 소스 옹호자들의 공동 노력도 포함됩니다.

위 내용은 대형 모델의 재현과 협업의 어려움을 해결하기 위해 95년대 이후 학생팀이 국내 AI 오픈소스 커뮤니티를 만들었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!