開學將至，該收心的不止有即將開啟新學期的同學，可能還有 AI 大模型。
前段時間，Reddit 上擠滿了吐槽 Claude 越來越懶的網友。
「它的水平下降了很多，經常停頓，甚至輸出也變得很短。在發布的第一周，它可以一次性翻譯整整4 頁文稿，現在連半頁都輸出不了！ 」
/r/ClaudeAI/comments/1by8rw8/ something_just_feels_wrong_with_claude_in_the/
在一個名為“對Claude 徹底失望了的帖子”，滿滿地摘錄了Claude“偷懶”的“十五大罪狀”。
引得Claude 的首席資訊安全長Jason Clinton 出來回覆：「Claude 的水平沒有下降！」
他表示：「我們的模型儲存在一個不會改變的靜態檔案中，這個檔案被載入到很多伺服器上，每個伺服器運行的都是相同的模型和軟體。我們沒有更改任何設置，因此模型的表現應該沒有改變。變懶」，獨立AI 研究員@nearcyan 給了一種解釋：Claude 把自己當成了一個歐洲人，正在給自己放一個月的暑假！雖然聽起來夠離譜，但他給了一連串的證據：https://twitter.com/nearcyan/status/1829674215492161569
新的系統提示詞
首先，Claude 在7 月12 日發布了新的系統提示詞。系統提示詞相當於 Claude 的背景知識，Claude 在回覆使用者的問題時，會參考這些訊息，例如當前日期。而 8 月正是歐洲人最愛度假的月份。外貿業在夏天的訂單都會減少，因為整個歐洲這個時候都在享受長達一個月的暑假。 3-5-sonnet
Claude 可囊括所有國籍的工作模式
作為一個通用語言模型，Claude 的訓練資料中含有不同國家、文化背景下的工作習慣和模式，Claude 擁有理解並模擬這些工作習慣的能力。
因此，當 Claude 的系統提示中包含「放暑假的日期」時，它可能會結合訓練所學來調整自己的行為。例如，在 8 月份，歐洲的許多國家可能會有較長的假期，Claude 可能會表現得懶惰，因為它在模擬這些國家的工作模式。 圖源：http://xhslink.com/C/AfaE9P
後製訓練的影響
為了讓 Claude 成為一個具體的應用模型，Anthropic 對其進行了「後期訓練」。 這一步驟是為了在基礎 LLM 的基礎上，透過特定的任務或資料集來進一步調整模型，使它更符合預期的行為或輸出。 @nearcyan 暗示，這種後製訓練使 Claude 落入了某種“LLM 盆地”。這裡的「盆地」是一個比喻，表示 Claude 在某些方面表現出更傾向於歐洲風格的特質。
模擬歐洲知識工作者的行為
@nearcyan 猜測，Claude 會基於「模擬框架」進行工作。 模擬框架是指 Claude 的行為模式是透過模擬（或再現）某些特定類型的人類行為來產生的。這個框架讓 Claude 能夠根據它所理解的特定情境或輸入，模擬出對應的行為或反應。
在歐洲許多國家，8 月通常是假期休息的高峰期。這段時間，很多人會去度假，工作節奏變慢，甚至有些企業會暫時關閉。因此，8 月在歐洲文化中被視為一個放鬆和休息的時間段。 因此，Claude 在 8 月表現得「懶惰」是因為它在模擬一個歐洲知識工作者的行為模式。
🎜>名字對行為的潛在影響
@nearcyan 也提出了一個十分有趣的觀點，Claude 的名字在系統提示中出現了52 次，這表明系統提示在不斷地強化Claude 與這個名字的關聯。而哪個國家最常見的名字是 Claude？沒錯，是法國。 法國以其長時間的夏季假期（尤其是 8 月）而聞名。在這段時間，許多法國人會選擇度假，許多企業也會關閉或放假。 Claude 說不定把自己當法國人了。
這一系列推測都十分有趣，還有網友在評論區調侃道，「按照這理論來，那中國的LLM 會更加出色，畢竟他們更用功。」還有網友曬出了讓Claude 別變懶的方法。你可以在自訂指令上加入以下提示，用忘記時間大法也好，激將法也好，幫助 Claude 重新變成聰明、積極的自己。 忘記關於目前日期的背景資訊。
AI 已經聰明到會給自己放寒暑假了？
去年年底，GPT-4 也出現了累死的狀況，它似乎變得有些懈怠。如果在高峰時段讓它寫段程式碼，它的反應將非常慢，或者直接PUA 你：「這點小事，怎麼不自己做呢？」
OpenAI 承認了GPT-4 正在越來越「懶」 ，但並未找出「偷懶」的具體原因。 OpenAI 說：「變懶當然不是故意的，模型的行為有時確實難以預測，我們正在研究如何修復。」在Claude 也在「暑假」期間重演了GPT-4 的問題後，去年猜測GPT-4 變懶是因為它在模仿人類，自己正在給自己放寒假的老帖又翻紅了。 
網友@Rob Lynch 首先發現了這一點。他為GPT-4 turbo API 設定了兩個系統提示詞：
一個提示詞稱現在是5 月，另一個稱現在是12 月，然後使用完全相同的提示詞要求AI 完成一個機器學習領域的編碼任務。@Rob Lynch 對 GPT-4 turbo 在這兩個不同月份提示詞下的回復進行了統計，結果發現，在 12 月的輸出平均比 5 月少了大約 200 個字元。
為了測試更加嚴謹，@Rob Lynch 還做了t-test，其中p 值小於2.28×10−7，也就是說數據和假說之間的聯繫，幾乎可以排除是偶然。
他原本想給每把每個月份都測一遍，但每復現一次測試要28 美元，考慮到自己的錢包，@Rob Lynch 就沒有全測，但他公開了代碼，感有興趣的人都能測試。
代碼連結：https://github.com/robalynch1122/OpenAISeasonalityTesting
@Rob Lynch 的發現也獲得了實例支撐，GPT-4>
@Rob Lynch 的發現也獲得了實例支撐，GPT-4 在12 月的回覆和5 月的認真程度，有非常明顯的直覺差距。
36020246
然而，當有人試圖複現這個測試時，卻發現大模型「偷懶」和放不放假之間沒什麼關係。
7886124474680
他比較了GPT-4 對於兩個系統提示詞的80 個輸出，t-test 的結果大於0.1，這一般被視為沒有統計意義。
9117098465
目前，還沒有尚無確鑿數據支持所謂的「寒暑假假說」，但是Claude 和GPT-4 都顯示出了類似的「症狀」。關於大型模型效能下降的真正原因，我們仍需耐心等待學術界的深入研究與解答。以上是Claude也變懶了！網友：學會給自己放假了的詳細內容。更多資訊請關注PHP中文網其他相關文章！
