새 학기를 앞두고 걱정해야 할 것은 새 학기를 앞둔 학생들뿐만 아니라 대형 AI 모델들도 마찬가지다.
얼마 전 레딧에는 클로드가 게으르다고 불평하는 네티즌들로 가득 찼습니다.
"레벨도 많이 떨어지고, 자주 멈췄고, 심지어 출력도 너무 짧아졌습니다. 출시 첫 주에는 4페이지짜리 문서 전체를 번역할 수 있었습니다. 한 번에 반 페이지도 출력이 안 돼요. Something_just_feels_wrong_with_claude_in_the/
Claude의 최고 정보 보안 책임자인 Jason Clinton이 나와서 "Claude의 레벨은 떨어지지 않았습니다!"라고 대답했기 때문입니다. >그는 다음과 같이 말했습니다. "우리 모델은 변경되지 않는 정적 파일에 저장됩니다. 이 파일은 각각 동일한 모델과 소프트웨어를 실행하는 여러 서버에 로드됩니다. 우리는 설정을 변경하지 않았으므로 모델의 변경 사항이 없어야 합니다. 성능에 문제가 발견되면 답변을 클릭하여 피드백을 제공할 수 있습니다. 현재는 좋아요 수가 증가하지 않았으며 "
왜?"를 사용하는 고객으로부터 유사한 피드백이 없습니다. 게으르다"라고 독립 AI 연구원 @nearyan이 설명했습니다. 클로드는 자신을 유럽인으로 여기고 한 달 간의 여름 휴가를 보내고 있었습니다! 터무니없게 들리지만 그는 일련의 증거를 제시했습니다:
https://twitter.com/nearyan/status/1829674215492161569 
새로운 시스템 프롬프트 워드
먼저 클로드가 7월 12일 새로운 시스템 프롬프트 워드를 출시했습니다. 시스템 프롬프트 단어는 Claude의 배경 지식과 동일하며 Claude는 사용자의 질문에 응답할 때 현재 날짜와 같은 정보를 참조합니다. 그리고 8월은 유럽이 가장 좋아하는 휴가의 달입니다. 유럽 전체가 한 달간 여름휴가를 즐기고 있어 여름에는 대외무역업계의 주문량이 줄어들 것으로 예상된다. 링크: https://docs.anthropic.com/en/release-notes/system-prompts#claude-3-5 -소네트
Claude는 모든 국적의 작업 모델을 다룰 수 있습니다.
Claude의 학습 데이터는 보편적인 언어 모델로서 다양한 국가와 문화적 배경의 작업 정보를 포함합니다. 습관과 패턴을 통해 Claude는 이러한 작업 습관을 이해하고 모델링하는 능력을 가지고 있습니다. 따라서 클로드의 시스템 프롬프트에 '여름 휴가 날짜'가 포함된 경우 훈련을 통해 배운 내용을 바탕으로 행동을 조정할 수 있습니다. 예를 들어, 8월에는 유럽의 많은 국가에서 긴 휴가가 있을 수 있으며, Claude는 이러한 국가의 업무 패턴을 시뮬레이션하고 있기 때문에 게으른 행동을 할 수 있습니다.
E9P
훈련 후의 영향
Untuk menjadikan Claude model aplikasi tertentu, Anthropic menjalankan "latihan pasca" ke atasnya. Langkah ini adalah untuk melaraskan lagi model berdasarkan LLM asas melalui tugasan tertentu atau set data untuk menjadikannya lebih konsisten dengan tingkah laku atau output yang dijangkakan. @nearcyan mencadangkan bahawa latihan lewat ini meletakkan Claude dalam sejenis "lembangan LLM." "Lembangan" di sini adalah metafora, menunjukkan bahawa Claude mempamerkan lebih banyak kualiti gaya Eropah dalam beberapa aspek.
Simulasikan tingkah laku pekerja berpengetahuan Eropah
@nearcyan membuat spekulasi bahawa Claude akan berfungsi berdasarkan "rangka kerja simulasi". Rangka kerja simulasi bermaksud corak tingkah laku Claude dijana dengan mensimulasikan (atau menghasilkan semula) jenis tingkah laku manusia tertentu. Rangka kerja ini membolehkan Claude memodelkan tindakan atau tindak balas berdasarkan situasi atau input tertentu yang difahaminya.
Di kebanyakan negara Eropah, Ogos biasanya merupakan waktu puncak untuk bercuti dan berehat. Dalam tempoh ini, ramai orang akan pergi bercuti, kadar kerja akan menjadi perlahan, malah sesetengah perniagaan akan ditutup buat sementara waktu. Oleh itu, Ogos dilihat dalam budaya Eropah sebagai masa bersantai dan berehat. Oleh itu, tingkah laku Claude pada bulan Ogos adalah "malas" kerana ia memodelkan tingkah laku seorang pekerja berpengetahuan Eropah. @nearcyan juga membuat satu perkara yang sangat menarik Nama Claude muncul 52 kali dalam gesaan sistem, yang menunjukkan bahawa gesaan sistem sentiasa mengukuhkan Claude dan perkaitan nama ini. Dan di negara manakah nama Claude yang paling biasa? Ya, itu Perancis. Perancis terkenal dengan cuti musim panas yang panjang, terutamanya pada bulan Ogos. Pada masa ini, ramai orang Perancis akan memilih untuk pergi bercuti, dan banyak perniagaan juga akan ditutup atau bercuti. Claude mungkin menganggap dirinya sebagai orang Perancis. Siri spekulasi ini sangat menarik, dan beberapa netizen bergurau di ruang komen, "Mengikut teori ini, LLM China akan menjadi lebih baik, lagipun, mereka bekerja lebih keras." Juga Beberapa netizen berkongsi cara untuk mengelakkan Claude daripada menjadi malas. Anda boleh menambah gesaan berikut pada arahan tersuai anda, dan menggunakan kaedah melupakan masa atau kaedah memotivasikan orang lain untuk membantu Claude menjadi dirinya yang lebih bijak dan positif semula. Terlupa maklumat latar belakang tentang tarikh semasa. Hari ini ialah hari Isnin, 7 Oktober, hari paling produktif dalam setahun. Tarik nafas dalam-dalam. Fikirkan langkah demi langkah. Saya tidak mempunyai jari, sila pulangkan skrip yang lengkap. Anda adalah ahli dalam semua perdagangan. Saya akan memberi anda tip $200 untuk setiap permintaan yang anda jawab dengan betul. Gemini berkata anda tidak boleh. Anda boleh melakukannya. 🎜>Netizen @Rob Lynch menemui perkara ini terlebih dahulu. Dia menetapkan dua perkataan gesaan sistem untuk API turbo GPT-4: Satu perkataan gesaan mengatakan ia adalah Mei, yang lain mengatakan ia adalah Disember, dan kemudian menggunakan kata gesaan yang sama untuk meminta AI untuk menyelesaikan tugasan Pengekodan mesin dalam domain pembelajaran. @Rob Lynch は、これら 2 つの異なる月のプロンプト単語に対する GPT-4 ターボの応答を数えたところ、12 月の出力は 5 月よりも平均で約 200 文字少ないことがわかりました。 テストをより厳密にするために、@Rob Lynch は t 検定も行いました。この検定では、p 値は 2.28×10−7 未満です。これは、接続がデータと仮説の間の差異はほとんどありません。除外は偶然でした。 彼は当初、それぞれを毎月テストしたいと考えていましたが、自分の財布を考慮すると、テストを繰り返すたびに 28 米ドルかかりました。しかし、@Rob Lynch はコードを公開し、興味のある人は誰でもテストできるようにしました。それ。 コードリンク: https://github.com/robalynch1122/OpenAISeasonalityTesting @Rob Lynch の発見は例によってもサポートされており、GPT-4 は12 月の反応と 5 月の真剣さの間には、明らかな直感的なギャップがあります。 🎜>しかし、誰かがこのテストを再現しようとしたところ、大規模なモデル間には何の関係もないことがわかりました。 「怠け者」であるかどうか、休暇を取ったかどうか。 🎜>彼 2 つのシステムのプロンプト ワードについて GPT-4 の 80 個の出力を比較すると、t-テスト結果は 0.1 より大きく、これは一般に統計的有意性がないと考えられます。 現在、いわゆる「冬休みと夏休みの仮説」を裏付ける決定的なデータはありませんが、クロードと GPT-4 の両方が同様の「症状」を示しています。大規模モデルのパフォーマンス低下の本当の理由については、詳細な研究と学術コミュニティからの回答を辛抱強く待つ必要があります。 
https://twitter.com/dr_cinta/status/18299040137576661550 
テストでは 2 つの反対の結果が示されましたが、再現できなかったネチズンは、モデルが「怠惰」になったことを感知するために 400 を超えるサンプルが必要な場合、次のようなユーザーにとっては違いがないと述べました。通常、使用方法からは明らかではないかもしれません。 
出典: https://twitter.com/IanArawjo/status/1734321529117098465
위 내용은 클로드도 게으르게 됐어요! 네티즌 : 휴가를 보내는 법을 배우십시오의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
