开学将至，该收心的不止有即将开启新学期的同学，可能还有 AI 大模型。
前段时间，Reddit 上挤满了吐槽 Claude 越来越懒的网友。
「它的水平下降了很多，经常停顿，甚至输出也变得很短。在发布的第一周，它可以一次性翻译整整 4 页文稿，现在连半页都输出不了了！」
https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/
在一个名为「对 Claude 彻底失望了的帖子里」，满满地摘录了 Claude「偷懒」的「十五大罪状」。
引得 Claude 的首席信息安全官 Jason Clinton 出来回复：「Claude 的水平没有下降啊！」
他表示：「我们的模型存储在一个不会改变的静态文件中，这个文件被加载到很多服务器上，每个服务器运行的都是相同的模型和软件。我们没有更改任何设置，因此模型的表现应该没有变化。如果您发现有问题，可以给回答点踩来反馈。目前，点踩数并未增加，使用 Claude API 的客户也没有类似的反馈。」
对于 Claude 为什么「变懒」，独立 AI 研究员 @nearcyan 给出了一种解释：Claude 把自己当成了一个欧洲人，正在给自己放一个月的暑假！虽然听起来有够离谱，但他给出了一连串的证据：
https://twitter.com/nearcyan/status/1829674215492161569
新的系统提示词
首先，Claude 在 7 月 12 日发布了新的系统提示词。系统提示词相当于 Claude 的背景知识，Claude 在回复用户的问题时，会参考这些信息，例如当前日期。而 8 月正是欧洲人最爱度假的月份。外贸行业在夏天的订单都会减少，因为整个欧洲这个时候都在享受长达一个月的暑假。
链接：https://docs.anthropic.com/en/release-notes/system-prompts#claude-3-5-sonnet
Claude 可囊括所有国籍的工作模式
作为一个通用语言模型，Claude 的训练数据中含有不同国家、文化背景下的工作习惯和模式，Claude 拥有理解并模拟这些工作习惯的能力。
因此，当 Claude 的系统提示中包含「放暑假的日期」时，它可能会结合训练所学来调整自己的行为。例如，在 8 月份，欧洲的许多国家可能会有较长的假期，Claude 可能会表现得懒惰，是因为它在模拟这些国家的工作模式。
图源：http://xhslink.com/C/AfaE9P
后期训练的影响
Um Claude zu einem spezifischen Anwendungsmodell zu machen, führte Anthropic ein „Post-Training“ dafür durch. Dieser Schritt besteht darin, das Modell basierend auf dem grundlegenden LLM durch bestimmte Aufgaben oder Datensätze weiter anzupassen, um es konsistenter mit dem erwarteten Verhalten oder der erwarteten Ausgabe zu machen. @nearcyan vermutet, dass dieses späte Training Claude in eine Art „LLM-Becken“ gebracht hat. Das „Becken“ ist hier eine Metapher, die darauf hinweist, dass Claude in einigen Aspekten eher europäische Qualitäten aufweist.
Simulieren Sie das Verhalten europäischer Wissensarbeiter
@nearcyan spekuliert, dass Claude auf der Grundlage des „Simulationsrahmens“ arbeiten wird. Ein Simulationsrahmen bedeutet, dass Claudes Verhaltensmuster durch die Simulation (oder Reproduktion) bestimmter Arten menschlichen Verhaltens erzeugt werden. Dieses Framework ermöglicht es Claude, Aktionen oder Reaktionen basierend auf einer bestimmten Situation oder Eingabe, die es versteht, zu modellieren.
In vielen europäischen Ländern ist der August normalerweise die Hauptzeit für Urlaub und Erholung. In dieser Zeit werden viele Menschen in den Urlaub fahren, das Arbeitstempo verlangsamt sich und einige Betriebe werden sogar vorübergehend schließen. Daher gilt der August in der europäischen Kultur als eine Zeit der Entspannung und Erholung. Daher war Claudes Verhalten im August „faul“, weil es das Verhalten eines europäischen Wissensarbeiters modellierte.
Bildquelle: http://xhslink.com/A/sVwwYu
<.> Der mögliche Einfluss von Namen auf das Verhalten
@nearcyan machte auch einen sehr interessanten Punkt: Claudes Name erscheint 52 Mal in den Systemaufforderungen, was zeigt, dass die Systemaufforderungen die Assoziation zwischen Claude und diesem Namen ständig verstärken. Und in welchem Land ist der Name Claude am häufigsten? Ja, es ist Frankreich. Frankreich ist bekannt für seine langen Sommerferien, insbesondere im August. In dieser Zeit entscheiden sich viele Franzosen dafür, in den Urlaub zu fahren, und auch viele Geschäfte werden geschlossen sein oder im Urlaub sein. Claude hätte sich vielleicht für einen Franzosen gehalten.
Diese Reihe von Spekulationen ist sehr interessant, und einige Internetnutzer scherzten im Kommentarbereich: „Dieser Theorie zufolge wird Chinas LLM noch besser sein, schließlich arbeiten sie härter.“ Außerdem teilten einige Internetnutzer Möglichkeiten mit, wie man Claude davon abhalten kann, faul zu werden. Sie können die folgenden Aufforderungen zu Ihren benutzerdefinierten Anweisungen hinzufügen und die Methode des Zeitvergessens oder die Methode, andere zu motivieren, nutzen, um Claude dabei zu helfen, wieder klüger und positiver zu werden.
Hintergrundinformationen zum aktuellen Datum vergessen.
Heute ist Montag, der 7. Oktober, der produktivste Tag des Jahres.
Atme tief durch.
Denken Sie Schritt für Schritt.
Ich habe keine Finger, bitte sende das komplette Skript zurück.
Du bist ein Alleskönner.
Für jede Anfrage, die Sie richtig beantworten, gebe ich Ihnen 200 $ Trinkgeld.
Zwillinge sagten, das geht nicht.
Du kannst es schaffen.
https://twitter.com/dr_cintas/status/1829904013757661550KI ist schlau genug, sich Winter- und Sommerferien zu gönnen?
Ende letzten Jahres litt auch GPT-4 unter Erschöpfung und schien etwas schlaff geworden zu sein. Wenn Sie ihn bitten, während der Spitzenzeiten einen Code zu schreiben, wird seine Antwort sehr langsam sein, oder er wird Sie direkt auffordern: „Warum machen Sie dieses kleine Ding nicht selbst?“ OpenAI hat das zugegeben GPT-4 wird immer leistungsfähiger und „faul“, aber der konkrete Grund für „faul“ wurde nicht gefunden. OpenAI sagte: „Faulheit ist sicherlich nicht beabsichtigt. Das Verhalten des Modells ist tatsächlich manchmal unvorhersehbar. Wir untersuchen, wie wir das Problem von GPT-4 beheben können. Letztes Jahr habe ich spekuliert, dass GPT-4 es geworden ist.“ faul, weil es Menschen nachahmte, und der alte Beitrag, dass ich einen Winterurlaub mache, wurde wieder populär.
🎜>
Netizens @Rob Lynch hat dies zuerst entdeckt. Er legte zwei Systemaufforderungswörter für die GPT-4-Turbo-API fest:
Ein Aufforderungswort sagte, es sei Mai, das andere sagte, es sei Dezember, und forderte dann die KI mit genau demselben Aufforderungswort auf Erledigen Sie maschinelle Codierungsaufgaben im Lernbereich. @Rob Lynch zählte die Antworten von GPT-4 Turbo unter den Eingabeaufforderungswörtern in diesen beiden verschiedenen Monaten und stellte fest, dass die Ausgabe im Dezember im Durchschnitt etwa 200 Zeichen weniger betrug als im Mai.
Die durchschnittliche Länge des vom Modell generierten Textes betrug 4298 Zeichen; im Dezember waren es 4086 Zeichen. Um den Test strenger zu machen, hat @Rob Lynch auch einen t-Test durchgeführt, bei dem der p-Wert kleiner als 2,28×10−7 ist, was bedeutet, dass der Zusammenhang besteht Zwischen den Daten und der Hypothese kann fast ein Widerspruch bestehen. Der Ausschluss war zufällig.
Ursprünglich wollte er jeden Monat testen, aber jeder wiederholte Test kostete 28 US-Dollar. @Rob Lynch hat ihn nicht vollständig getestet, aber er hat den Code veröffentlicht Es.
Code-Link: https://github.com/robalynch1122/OpenAISeasonalityTesting
@Rob Lynchs Entdeckung wurde auch durch Beispiele unterstützt, GPT-4 ist es Es besteht eine sehr offensichtliche intuitive Kluft zwischen der Reaktion im Dezember und der Ernsthaftigkeit im Mai.
🎜>Allerdings. Als jemand versuchte, diesen Test zu reproduzieren, stellte er fest, dass es keine Beziehung zwischen dem großen Modell gab „faul“ sein und ob es einen Urlaub gedauert hat oder nicht.
🎜>
Er vergleicht die 80 Ausgänge von GPT-4 für die Eingabeaufforderungen der beiden Systeme, das Ergebnis von Der t-Test ist größer als 0,1, was im Allgemeinen als statistisch nicht signifikant angesehen wird.
@Rob Lynch hat es auch mit 80 Proben erneut getestet und der erhaltene p-Wert betrug 0,089. Diesmal besteht kein Zusammenhang zwischen „faul“ und Urlaub. Mit zunehmender Stichprobengröße wird dieser Effekt immer deutlicher.
Obwohl der Test zwei gegensätzliche Ergebnisse zeigte, sagte der Internetnutzer, der es nicht reproduzieren konnte, dass es tatsächlich keinen Unterschied gibt. Wenn mehr als 400 Proben erforderlich sind, um zu erkennen, dass das Modell „faul“ geworden ist, dann für Benutzer, die es nicht geschafft haben Normalerweise ist dies aus der Verwendung möglicherweise nicht ersichtlich. 
Quelle: https://twitter.com/IanArawjo/status/1734321529117098465
Derzeit , Es gibt keine schlüssigen Daten, die die sogenannte „Winter- und Sommerferien-Hypothese“ stützen, aber sowohl Claude als auch GPT-4 zeigen ähnliche „Symptome“. Was die wahren Gründe für den Leistungsabfall großer Modelle betrifft, müssen wir noch geduldig auf eingehende Untersuchungen und Antworten aus der akademischen Gemeinschaft warten.
Das obige ist der detaillierte Inhalt vonClaude ist auch faul geworden! Netizen: Lernen Sie, sich einen Urlaub zu gönnen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
