TempleOS に敬意を表して、開発者は Llama 2 を起動するためのオペレーティング システムを作成しました。 ネットユーザー: 8G メモリを備えた古いコンピューターでも実行できます

Llama 2 の「二次創作」プロジェクトは、ますますハードコアで興味深いものになってきていると言わざるを得ません。

Meta がオープンソースの大規模モデル Llama 2 をリリースして以来、このモデルを取り巻く「二次」プロジェクトが増えてきました。

今年 7 月、Tesla の元 AI ディレクターで OpenAI に復帰した Andrej Karpathy 氏は、週末の時間を利用して、Llama 2 に関する興味深いプロジェクト llama2.c を作成しました。ユーザーは PyTorch で baby Llama 2 モデル をトレーニングし、推論に依存関係のない純粋な C ファイルの約 500 行を使用します。

今日、Karpathy llama2.c プロジェクトに基づいて、別の開発者が Llama 2 を起動するためのデモ オペレーティング システムと、Llama 2 カーネル モジュールを呼び出すユーザー モード アシスタントを作成しました。推論のために。このプロジェクトは、Llama 2 Everywhere (略して L2E) と呼ばれています。

ただし、現在のシステム要件は 512MB RAM と x86_64 (64 ビット) PC であり、使いやすさを改善する必要があるとも述べています。

同時に、このプロジェクトでは「Doom」ゲームなどのいくつかのイースターエッグも隠されていますが、それを見つけるにはパズルを解く必要があります。

プロジェクト アドレス: https://github.com/trholding/llama2.c

Andrej Karpathy もこの新しいプロジェクトを転送し、「独立した操作、バイナリ、ポータブル、そしてブータブル」機能。彼は llama2.c プロジェクトが成功することを期待しており、この新しいプロジェクトは想像力を広げます。

#L2E はあらゆる分野のネチズンに認められており、これは本当に素晴らしいという人もいます。基本的には古いラップトップで起動でき、CPU だけで実行できます。RAM は 8G で十分ですが、16G の方が優れています。

このプロジェクトは、神のために開発されたオペレーティング システムである TempleOS (故天才プログラマー、テリー デイビスによって単独で開発されました) に非常に似ていると感じる人もいますが、このプロジェクトは著者は、Tribute to Terry と TempleOS に興味があるだけだと言いました。

L2E は、Linux カーネルとある程度の知識だけを使用してオペレーティング システムを構築しましたが、Terry がゼロから構築したものとは雲泥の差がありました。

次に、L2E プロジェクトの本来の目的、デモ、機能について学びましょう。

L2E プロジェクトの紹介

プロジェクト作成者は、L2E の目的は、 Chromebook での起動やエンタープライズ高密度ユニカーネルへの展開など、さまざまなデバイスでの互換性。

将来的には、このプロジェクトは、ネットワーク化され、分散され、自己調整される多数の小規模な LLM を活用することで、単一の大規模 LLM を超えた機能を解放する可能性があります。適度なハードウェア要件で、特殊な LLM を拡張できます。

現在、L2E の注目すべき使用例は、教科書、開かれた書籍、SlimPajama コーパスなどのさまざまなテキスト ソースで小規模モデルをトレーニングすることです。これらのトレーニング済みモデルは、L2E を使用してデプロイされ、古くて時代遅れの学校のコンピューター上で起動可能なインスタンスとして実行されます。この展開オプションは、インターネット接続が制限されている、または利用できない学校の図書館や教室で役立ちます。

プロジェクトの最終目標は、多様な環境に適応し、地球規模で個人とコミュニティに力を与えることができる包括的な AI エコシステムを構築することです。

さらに、さまざまなハードウェア テレメトリ データを使用してトレーニングすることにより、モデルがセンサー入力を解釈し、センサー入力から収集した洞察に基づいてアクチュエーターを制御することを学習することが期待されます。この研究の方向性は、オートメーション、宇宙、ロボット工学、モノのインターネットなどの分野で役割を果たす可能性が高く、L2E は AI と物理システムの間のギャップを埋める上で重要な役割を果たすでしょう。

L2E デモ ショー

プロジェクト作成者は、Llama 2 の起動例をいくつか示します。

次は、Linux カーネルの L2E オペレーティング システムです。これで、コンピューター上で実際に Llama 2 モデルを起動して推論できるようになります。

さらに、cat /dev/llama や echo コマンド (「Sudo make me a Sandwich!」など) を実行することもできます。 > / dev/llama 、またはカーネルパラメータ l2e.quest="人生の意味は何ですか?" を渡します。

#最後に、大規模なエンタープライズ サーバー上で 1000 個の仮想ベビー ラマ 2 モデルのセットを起動して推論することができます。

L2E は移植性が高く、Windows、GNU Linux、GNU/Systemd、NetBSD、OpenBSD などの任意の x86_64 オペレーティング システム上で単一の実行可能ファイルを実行できます。独立性は、ZipOS (cosmocc)、INCBIN、strliteral を介してモデルとトークナイザーを埋め込む機能に反映されています。 L2E は CPU/GPU 上で実行できます。

詳細については、元のプロジェクトを参照してください。

以上がTempleOS に敬意を表して、開発者は Llama 2 を起動するためのオペレーティング システムを作成しました。 ネットユーザー: 8G メモリを備えた古いコンピューターでも実行できますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。