飛行機を操縦し、完璧なリブロースを調理し、6つに割れた腹筋を手に入れ、会社に莫大な利益をもたらすことに加えて、私が常にやりたいと思っていたことの 1 つは、チャットボットを導入することです。
何年も前にキーワードマッチングで応答していた小さな黄色いニワトリに比べ、chatgpt は今や人間の知能に匹敵するものとなり、チャット AI も進歩していますが、私が思っていたものとは少し違います。
私は WeChat で多くの人とチャットします。チャットが多い人もいれば、少ない人もいます。グループ内で話すこともできます。ブログや公開アカウントを書くこともできます。コメントを残す人もたくさんいます。 「ソーシャルメディアや微博にも投稿しています。これらは私がオンラインの世界に残した痕跡です。これらはある程度、世界の私の認識を構成しており、その観点から見ると、それらは私を構成するものでもあります。」これらのデータ (さまざまなメッセージに対する私の応答、私が書いたすべての記事、すべての文、私が投稿したすべての Weibo など) をニューラル ネットワーク モデルに統合してパラメーターを更新すると、理論的には私のデジタル コピーを取得できます。
これは原則として、chatgpt に「XXX の経験を持つ Xiao Wang という人の役を演じてください」と言うのとは異なります。chatgpt の知恵を使えば、このような演技は簡単で混乱するかもしれませんが、実際、chatgpt のパラメータは変更されていません。これは「再形成」というよりは「再生」に近いです。Chatgpt の数千億のパラメータは何も変更されていません。以前のテキストから情報を取得し、知恵を使って対処します。あなたと。
私は、記事の中であまり役に立たない比喩をいくつか書いて、最後に要約するのが好きです。人々とチャットするときは、次のように使うのが好きです。 「わかりました」と対処すると同時に「すごい」と驚きを表現します。無口な場合もあれば、延々と話し続ける場合もあります。これらは私が認識できるいくつかの特徴です。また、固定的なものもあります習慣とか、そういう微妙で曖昧なこと、chatgptでは言えないけど、自己紹介のときはすごく豊かに紹介できるけど、それでも本当の自分からは程遠いし、時々。なぜなら、私たちが自分の存在を認識するとき、私たちは実際に自分自身を演じているからです。
chatgpt のリリース後、私は興味に基づいて大きなテキスト モデルの技術原理を学び始めました。1949 年に中国軍に入隊したような気分でした。個人の愛好家にとって、違いを生み出すことは不可能だからです。あらゆる面、あらゆる小さな分野において、chatgpt を超える可能性はもはや存在せず、同時にオープンソースではないため、これを使用する以外にアイデアはありません。
しかし、有名な llama や chatglm6b など、過去 2 か月間に登場したいくつかのオープンソースのテキスト事前トレーニング モデルのせいで、私は再び自分のクローンを作成したいと思うようになりました。試してみてください。
まず第一に、十分なデータが必要で、すべて私が生成したものです。最も単純なデータ ソースは私の WeChat チャット記録とブログです。2018 年から現在まで、WeChat チャット記録は完全に消去されていないためです。私の携帯電話の WeChat は 80G のストレージ スペースを占有しています。家のスペースを誰かが横取りしているといつも感じていました。ここでデータを使用できるのであれば、80G を手放すつもりです。
数年前に WeChat のチャット履歴をバックアップしたところ、当時使用していたツールが見つかりました。これは github でオープンソースです。 WechatExporter というツールです。記事の最後にリンクを貼っておきます。このツールを使用すると、Windows コンピュータ上の iPhone にある WeChat 携帯電話のすべてのチャット記録をバックアップし、プレーン テキスト形式にエクスポートできます。最初に電話全体をコンピュータにバックアップする必要があり、その後、このツールがバックアップ ファイルから WeChat レコードを読み取ってエクスポートするため、これは忍耐を必要とする操作です。
バックアップに約 4 時間を費やし、すぐにすべての WeChat チャット記録をエクスポートしました。これらの記録は、チャット オブジェクトに従って多数のテキスト ファイルにエクスポートされました。
それから、データ クリーニングを開始しました。ほとんどのグループにたくさん参加しました。よりアクティブだったグループをいくつか除外しました。さらに、個人とのチャット記録もいくつか除外しました。彼らとたくさんチャットしました。同時に、チャット記録も喜んで使用しましたが、最終的には、約 50 個のチャット テキスト ファイルがあれば十分でした。
私は、これらのテキスト ファイルを走査し、すべてのスピーチと前の文を見つけて会話形式にし、json に保存する Python スクリプトを作成しました。このようにして、独自のファイルが得られます。 WeChat チャット データ セット。
このとき、私は同僚に、クローラーを使用して自分のブログ投稿をすべてクロールするように依頼しました。彼がクロールして私に送ってくれた後、私はできることを思い出しました。実際にブログを使用してみる バックグラウンドで組み込まれたエクスポート機能を使用して、直接エクスポートできます。ブログのデータもとてもきれいでしたが、最初は使い方がわかりませんでした。トレーニングしたいのはチャットモデルで、ブログの投稿はチャットではなく長い段落だったので、初めてトレーニングしました。 WeChat の純粋なチャット記録のみが使用されます。
私は事前トレーニング モデルとして chatglm-6b を選択しました。一方で、その中国語効果は十分にトレーニングされています。他方では、そのパラメーターは 60 億です。私のマシンはそれほど労力をかけずに実行できます。そうですね、もう 1 つの理由は、github 上にすでにいくつかの微調整トレーニング プログラムが存在していることです (記事の最後にまとめてリストします)。 6と同じ苗字です。これも使いたくなりました。
私の WeChat チャット データが最終的に約 100,000 件利用可能になったことを考慮して、学習率を比較的低く設定し、エポックを増やしました。数日前のある夜、寝る前にトレーニング スクリプトを書き終えました。と走り始めて、目が覚めたら走り終えようと思って寝たのですが、その夜はほぼ1時間ごとに目が覚めてしまいました。
朝起きてからモデルをトレーニングしましたが、残念ながら損失がうまく落ちず、12時間トレーニングしたモデルはあまり良くありませんでしたが、私はディープラーニングの初心者ですありがたいことにエラーなしで実行できたので、がっかりする代わりに、このモデルを使用してダイアログを実行し始めました。
儀式的な雰囲気を加えるために、jupyter ノートを使用したり、暗いターミナルでチャットしたりしたくなかったので、オープンソースのフロントエンド チャット ページを見つけ、わずかな変更を加えて、をモデル化して API をカプセル化し、フロントエンド ページを使用してこの API を呼び出すことで、より類似したチャットを実現できます。
どうか笑わないでください。モデルのトレーニングに私自身の 100,000 件の WeChat チャット記録を使用しました。以下は私と彼 (またはそれ?) との最初の会話です。
もう一度試しましたが、結果はまだあまり良くありませんでした。私は極端に最適化せずに行動することを恥ずかしいと思うタイプではないので、そうではありません直接投稿するのは恥ずかしかったのですが、それを何人かの友人にあげたところ、あなたに似ているというフィードバックがあり、会話のスクリーンショットも送ってくれました。
内容 A の WeChat メッセージを受信し、B に返信する場合、いくつかの理由があります。これらの理由のいくつかは、私の物理的な脳の 70 億から 80 億のニューロンに保存されています。理論 十分なデータを生成すると、おそらく数百のデータが生成されます。数十億の場合、十分に大きなパラメータを持つ人工知能モデルは私の脳に非常に近くなる可能性があります。100,000 は少し少ないかもしれませんが、モデルを 60 億にするのに十分です。パラメータの一部を変更して、より私の脳に近づけます。オリジナルの事前トレーニング済みモデル。
さらに、それよりも大きな欠点があります。それは、いくつかの単語をポップアップすることができず、回答が非常に簡潔であるということです。これは、私の WeChat のチャット スタイルと多くの場合一致していますが、実際とは異なります。欲しいです。もっと書いてあります。
このとき、突然自分のブログのことを思い出しました。これらのブログを質問と回答に変換するにはどうすればよいでしょうか?私は、chatgpt を思いつきました。慎重に作成したプロンプトの下で、ブログ記事のテキストを正常に変換しました。複数の対話形式の質問と回答になりました:
chatgpt は形式に準拠していないコンテンツを返す場合があるため、さまざまな形式に変換する校正スクリプトを作成しました。ルールに準拠しない戻り値は標準の JSON に変更され、フィールド名は変更されません。
次に、それをインターフェイスにカプセル化し、香港のサーバーに置き、ブログ投稿を 500 ワードに分割し、制限付きでバッチで質問と回答に変換するスクリプトをコンピューター上に書きました。 chatgpt のインターフェイス速度のおかげで、200 を超えるブログ投稿をほぼ 5,000 の会話データ セットに変換するのにほぼ一晩かかりました。
この時点で、私は選択を迫られました。トレーニング用に WeChat の会話データ セットにブログの会話が追加された場合、ブログの会話の割合が低すぎるため、影響が非常に小さい可能性があります。大規模; 別のオプションは、単に記事のデータを使用して新しいモデルをトレーニングすることです。
私は 6pen のアルゴリズム担当者に助けを求め、モデルの重みを融合できると判断し、彼から融合スクリプトを取得する方法を見つけた後、後者の方法を採用しました。
5000 問と回答、トレーニングのスピードは非常に速く、1 ～ 2 時間で十分です。午後は書類を書きながらトレーニングの進捗状況を確認しました。トレーニングが終了した後、退社する前に行いました。 , モデルの統合を開始しました。そのため、以前のユーザー WeChat チャット レコードでトレーニングされたモデルが、私のブログでトレーニングされたモデルとマージされます。
2 つのモデルの重みは自由に設定できます。さまざまな比率を試しました。モデルの収束プロセス中に損失のリバウンドがあることを考慮して、数値の異なるモデル バージョンも試しましたステップ数
これらのモデルと一晩中話し合って、最も効果的なモデルを見つけましたが、見つけるのは難しいことがわかりました。これらのモデルは、いくつかの異なる行動があり、よりイライラする人、犬をなめるような人、非常に冷たい人、非常に熱心な人もいます。そして、これはある程度、私の異なる側面であるかもしれないことに気づきましたそれは理解できますが、ディープラーニングに従事し、その原理に精通している人々を軽蔑することは間違いありませんが、ロマンスが失われることはありません。
最終的に、チャット モデルと記事モデルの重み比は 7 対 2 であり、ステップ 6600 で保存したモデルを使用すると、融合効果がより優れていることがわかりました。もちろん、もう夜中の2時だったので判断力が鈍っていたせいもあるかもしれないが、とにかく彼を最終モデルと判断した。
私は彼とたくさん話しました。
#
以上が「個人の WeChat チャット記録とブログ投稿を使用して、独自のデジタル クローン AI を作成しました」の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
