4. 인간 피드백 기반 개선(RLHF)
어떻게 하면 새처럼 만들 수 있을까요? 인간 피드백(RLHF)을 통한 강화 학습입니다.
동일한 질문에 대해 모델이 여러 가지 답변을 제공하게 하면 직원이 피드백과 주석을 제공한 다음 모델이 편차를 추가로 수정하도록 합니다.
여러 차례 반복을 거친 후 모델의 답변은 점점 Niaoniao의 텍스트 기능 중 일부는 물론 그녀의 구체적인 입장까지 나타낼 수 있게 되었습니다.
제품 되기
모델이 훈련된 후에도 완전한 "Tmall Elf"가 되려면 알고리즘 + 엔지니어링 작업의 여러 측면을 완료해야 합니다.
1. 듣기
모델이 성공적으로 제품으로 변환되려면 사용자가 음성을 텍스트로 명확하게 듣고 이해해야 합니다.
이 프로세스는 Tmall Elf의 고양이 귀 알고리즘을 사용합니다.
고양이 귀의 특징은 식별의 오류가 매우 민감하다는 것입니다. 소리가 다른 곳에서 방출되면 귀가 독립적으로 회전하여 다른 소리를 정확하게 찾습니다.
해결에 중점을 둔 두 가지 문제가 있습니다.
첫 번째는 반향 제거입니다.
기기를 실내에서 재생하면 많은 에코가 발생하며 이러한 에코는 간섭을 유발합니다.
연구원들은 기계가 듣는 모든 문장이 사람의 목소리에서 나오는지 확인하기 위해 딥 러닝과 일련의 기술을 사용하여 에코를 제거합니다.
두 번째는 방향성 픽업입니다.
기계에 마이크 배열이 있어서 우리가 깨어나면 스피커가 어디에 있는지 인식하고 고양이 귀처럼 즉시 방향을 돌려 사람의 목소리를 정확하게 포착합니다.
동시에 소음 감소 기능을 사용하여 집에 있는 TV 소리나 멀리서 사람들이 이야기하는 소리 등 사람이 아닌 소리도 제거합니다.
2. Tone
Tmall Elf가 "듣는 것"을 배운 후 다음 단계는 음색을 새처럼 만드는 것입니다.
다모아카데미에서 개발한 음향모델 덕분입니다.
과거에는 사람의 목소리를 맞춤 설정하는 과정이 매우 복잡했습니다. 녹음 스튜디오에서 녹음하는 데 20시간 이상이 걸리고, 많은 수작업으로 주석을 달고, 모델을 튜닝하고 배포해야 했습니다. 예전에는 1년 단위로 맞춤형 사운드가 제작됐다고 할 수 있다.
게다가 그렇게 많은 인력과 물적 자원을 쏟아부은 뒤에도 나오는 소리는 여전히 기계적인 소리이고, 분명 로봇입니다.
이제 다모아카데미 KANN-TTS의 맞춤형 솔루션을 이용하면 약 1시간 정도의 유효한 새 녹음만 수집되며, 언제 어디서나 휴대폰으로 녹음이 가능합니다. 사운드 녹음부터 트레이닝 완료까지 일주일 정도 밖에 걸리지 않았습니다.
더욱이 최종 사운드의 자연스러움과 의인화는 놀랍고 Niao Niao 자신의 음색에 매우 가깝습니다.
다음으로는 새가 원하면 기계가 열정적인 목소리를 내는 감성 음색 알고리즘이 있습니다.
3. 글쓰기 스타일
어조를 익힌 후 다음 단계는 글쓰기 스타일입니다.
심리학에는 라벨링 효과라는 이론이 있습니다. 예를 들어, 어떤 사람이 내향적인 사람으로 분류되면, 그 사람은 점차 말이 적어지고 자신의 행동이 그 분류에 맞게 행동하게 될 수 있습니다.
대형 모델에서는 성격 레이블 어휘를 사용하여 사람을 설명하는 데 유사한 접근 방식을 사용할 수 있습니다.
실험 중에 매우 흥미로운 현상이 발생했습니다.
모델 캐릭터를 유쾌하고 유머러스하게 설정하면 대화 중에도 자주 웃을 뿐만 아니라, 어떤 영화를 좋아하는지 물으면 코미디라고 대답하기도 합니다.
우울하고 애절하다는 꼬리표가 붙은 후 모델은 많은 것에 흥미를 잃었습니다.
모델이 온화함, 사려 깊음, 사려 깊음으로 분류되면 대화에서 가족을 더 많이 언급합니다. 예를 들어 주말에 무엇을 하고 싶은지 대답하면 함께 시간을 보내고 싶다고 대답합니다. 나의 가족.
기술적으로는 두 가지 방법이 있습니다.
첫 번째는 Plug&Play입니다. 이 경우 빅 모델 자체는 여전히 일반 모델이지만 모듈을 사용하여 스타일을 식별하므로 새처럼 말하게 됩니다.
두 번째 방법은 대형 모델을 기반으로 프롬프트를 수행하여 다양한 성격 레이블의 스타일을 학습할 수 있는 것입니다.
새를 구별하기 위해 새를 훈련시킬 때 토크쇼 배우, 90년대 이후 세대, 내몽고 원주민, 깊이 있고 유머러스하며 내성적이라는 레이블이 사용되었습니다.
4. Dialogue
그리고 이번 Tmall Genie 데모 버전은 이전 버전과 조금 다른 점에서 이중 대화 방식의 차이가 있습니다.
과거에는 사람이 질문을 하면 기계는 사람의 말이 끝날 때까지 기다렸다가 대답했습니다. 기계가 응답하면 사람은 다음 문장을 말하기 전에 기계가 말을 마칠 때까지 기다려야 합니다.
전이중 지원을 통해 기계는 양방향으로 사람과 상호 작용할 수 있습니다.
예를 들어 기계와 대화를 하면 "음", "생각해볼게" 등의 연속 문장이 나옵니다.
또한, 대답하는 동안 기계가 너무 말이 많으면, 우리가 말하자마자 기계가 멈추고 듣습니다.
지연 시간이 매우 낮기 때문에 실제 대화의 지연 시간에 매우 가깝기 때문에 보다 양방향 상호 작용이 가능합니다.
스마트 비서의 "두뇌"를 바꿔보세요
ChatGPT가 출시된 이후 각계각층의 네티즌들은 ChatGPT를 Siri에 통합하기 위해 최선을 다했습니다.
예를 들어, 이 사람은 이 모델을 사용하여 인간이 보낸 명령을 분석한 다음 Siri가 자신을 대신하여 명령을 실행하도록 하여 무적의 스마트 홈 시스템을 구축합니다.
"아내가 운전해서 집에 가는데 15분 안에 도착할 예정이에요." "알겠습니다. 그러면 아내를 위해 바깥 불이 켜질 것입니다."
결국 Apple의 Siri인 ChatGPT와 비교하면, Amazon의 Alexa 및 기타 전통적인 음성 비서가 정말 약합니다.
이와 관련하여 Microsoft CEO Nadella는 "바위처럼 멍청하다"라는 매우 생생한 비유를 가지고 있습니다.
ChatGPT를 따라잡기 위해 필사적으로 노력하는 Google과 달리 Amazon은 뒤처져 있다는 느낌을 받지 않습니다.
10여 년 전, Bezos는 Amazon 본사의 화이트보드에 Alexa에 대한 자신의 기대를 신나게 설명했습니다. 당시 Amazon 창립자들은 새로운 음성 제어 컴퓨팅 플랫폼에 대한 원대한 비전을 갖고 있었습니다. 즉, 말하고, 우주선을 제어하고, 수학 퍼즐을 풀 수 있는 Star Trek 컴퓨터를 구축하는 것이었습니다.
하지만 이제 그 비전은 명백히 실패했습니다. 보조 기능이 내장된 수억 대의 디지털 장치를 판매했음에도 불구하고 Alexa는 차세대 대형 기술 플랫폼을 만들겠다는 Amazon의 목표에 미치지 못했습니다. 베조스는 돈을 잃더라도 어떤 희생을 치르더라도 알렉사를 개발할 의향이 있었습니다.
작년 11월에 나온 사랑스러운 ChatGPT는 Alexa의 혁신이 정체되었음을 보여줍니다.
그러나 Amazon은 새로운 시대를 맞이하기 위해 아주 새로운 방법을 사용하고 있습니다. 알렉사의 언어 능력은 챗봇만큼 좋지 않고, 챗봇은 스마트 홈 기기를 제어할 수 없습니다. 그렇다면 이 둘을 결합하면 어떨까요?
이길 수 없다면 가입하세요. 최근 몇 달 동안 Amazon은 ChatGPT와 같은 기술을 Alexa에 통합하기 위해 AI 스타트업과 접촉해 왔습니다.
그렇다면 ChatGPT와 같은 대형 모델을 "네이티브" IoT 장치에 직접 추가하면 더 강력해지지 않을까요?
이렇게 보면 티몰 지니가 새로운 OTA 인터랙티브 시스템을 대규모로 구현할 수 있다면 정말 발전할 것입니다.
인간 중심의 AI 거버넌스
최근 각계각층의 거물들은 GPT-4보다 강력한 AI 개발을 중단할지 여부를 놓고 다투고 있습니다.
논쟁의 초점은 AI의 안전성입니다. 공개 서한에서는 현재 AI를 만든 사람은 물론 누구도 이러한 AI를 이해, 예측, 제어할 수 없다고 믿습니다.
머스크와 르쿤이 정면으로 대결하는 것은 흔하지 않습니다(전술적 후퇴)
사실 이 현상의 근본 원인은 다음과 같습니다.
1. AI 기술은 그 특성이 인간과 다르지만 오랫동안 기술 중립의 범주에서 분리되어 왔습니다.
2. AI의 또 다른 기술적 특성은 AI를 사회의 인터페이스로 만듭니다. 감독이 부족하면 인터페이스 인프라가 불공정해질 수 있습니다.
문제는 AI가 블랙박스라면 AI가 좋은지 어떻게 판단할 수 있느냐는 것입니다.
이와 관련하여 칭화대학교 학제간 정보학부 연구원 Yu Yang은 그 답은 AI의 감사와 거버넌스에 있다고 말했습니다. 현재 그의 팀은 Tmall Genie 팀과 AI-ESG 분야 연구에도 협력하고 있습니다.
현재 관련 분야의 연구는 사람에 초점을 맞추고 있으며, 정보화 시대, 특히 인공지능 시대에 사람들이 평등하고 공정한 대우를 받을 수 있도록 하는 것이 그 목적입니다.
이를 달성하기 위해 유양 교수팀은 인과 추론 기반의 AI 전체 수명주기 거버넌스 감사 방법을 제안했습니다.
구체적으로 연구팀은 AI 모델이 실제로 코딩 수준에서 성별, 인종 등 직업과 연관되어 있다는 사실을 인과 추론 분석을 통해 알아냈습니다.
일부 문헌에서는 인코딩 계층이 이를 수행하지 않으면 AI 모델의 성능이 저하될 것이라고 믿습니다. 이러한 현상이 발생하는 이유는 현재 편향을 수정하는 방법이 훈련 중에 보상 함수에 몇 가지 요구 사항을 추가하고 모델이 편향될 때마다 "때리는" 것이기 때문입니다.
반대로 처음부터 사람에게 라벨을 붙일 수 없다고 말하면 최종 모델은 편향 위험을 크게 줄일 뿐만 아니라 일부 작업의 성능도 향상시킵니다.
결국 AI를 어떻게 교육하느냐의 문제다. 때리고 꾸짖는 것만으로는 충분하지 않고, AI와 함께 추론해야 한다.
이를 통해 우리는 감사가 문제 발견에 도움이 될 뿐만 아니라 AI의 투명성과 설명 가능성을 높이고 AI의 성능을 향상시킬 수 있다는 것을 쉽게 알 수 있습니다.
대형 모델을 탑재한 스마트 단말기의 경우 기술 감사의 중요성은 자명합니다. 결국, 이번 기술 시연으로 볼 때, 언젠가 우리도 Bird처럼 우리만의 고유한 대형 모델을 갖게 된다면 그것은 반드시 환상은 아닐 것입니다.
정신없는 3월이 막 지나가고 편집자도 너무 피곤해서 쓰러질 것 같아 그냥 누워있고 싶다. 
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
