不得不說，Llama 2 的「二創」專案越來越硬核、有趣了。
自 Meta 發布開源大模型 Llama 2 以來，圍繞著該模型的「二創」專案便多了起來。 先前7 月，特斯拉前AI 總監、重回OpenAI 的Andrej Karpathy 利用周末時間，做了一個關於Llama 2 的有趣項目llama2.c，讓使用者在PyTorch 中訓練一個baby Llama 2 模型，然後使用近500 行純C、無任何依賴性的檔案進行推理。 
今天，在Karpathy llama2.c 專案的基礎上，又有開發者創建了一個啟動Llama 2 的示範作業系統，以及一個呼叫使用者模式助理進行Llama 2 推理的內核模組。該專案名為 Llama 2 Everywhere（簡稱 L2E）。 不過，作者也表示，目前的系統需求是 512MB RAM 和 x86_64（64 位元）PC，可用性有待提升。 同時，這個項目還藏有一些彩蛋，像是《毀滅戰士》遊戲，不過必須解答謎題才能找到它。 
專案網址：https://github.com/trholding/llama2.c
Andrej Karpathy 也轉發了這個新項目，表示它具備了「獨立運作、二進位、便攜和可啟動”等特性。他預計自己的 llama2.c 項目將走向成功，這個新項目擴展了想像。 
L2E 得到了各路網友的認可，有人表示，這真是太棒了。基本上可以在任何舊筆記本上啟動，並且可以僅在 CPU 上運行，8G 內存就足夠了，16G 更好。 
也有人覺得這個專案非常像為上帝開發的作業系統TempleOS（它由已故天才程式設計師Terry Davis 獨自開發），但專案作者表示自己只是對Terry 和TempleOS 的致敬。 L2E 僅使用 Linux 核心和一些知識建立了一個作業系統，與 Terry 從頭開始建立的作業系統存在天壤之別。 
接下来了解一下 L2E 项目的初衷、Demo 和特性。项目作者表示，L2E 旨在确保其在各种设备上的兼容性，比如在 chromebook 上启动、在企业高密度 unikernel 上部署。未来，通过利用大量具备适度硬件要求的网络化、分布式和自协调的小规模专业 LLM，该项目有潜力释放超越单个大规模 LLM 的群体智慧。目前，L2E 显著的用例是在不同文本源上训练小规模模型，包括教科书、开放书籍和 SlimPajama 语料库等。这些经过训练的模型使用 L2E 进行部署，从而作为可启动实例在老旧过时的学校计算机上运行。这种部署方案可在互联网连接有限或网络不可用的学校图书馆或教室中发挥重要价值。项目的最终目标是创建一个包容性的 AI 生态系统，能够适应多样化的环境，并在全球范围内为个人和社区赋能。此外通过使用各种硬件遥测数据训练，希望模型能够学会解释传感器输入并根据从传感器输入中收集的 insight 来控制执行器。这一研究方向可能会在自动化、太空、机器人和物联网等领域发挥作用，而 L2E 将对弥合 AI 和物理系统之间的差距发挥关键作用。如下为 Linux 内核的 L2E 操作系统，现在可以在计算机上真正启动并推理 Llama 2 模型了。
此外可以做 cat /dev/llama 并回显 "Sudo make me a sandwich!" > /dev/llama 等命令，或者传递一个内核参数 l2e.quest="What is the meaning of life?"。
最后还可以在大型企业服务器上启动并推理一组 1000 个 Virtural Baby Llama 2 模型。
L2E 具备很强的便携性，可以在任何 x86_64 操作系统上运行单个可执行文件，比如 Windows、GNU Linux、GNU/Systemd、NetBSD、OpenBSD 等。独立性则表现在可以通过 ZipOS (cosmocc)、INCBIN、strliteral 嵌入模型和 tokenizer。L2E 可以在 CPU/GPU 上运行。
以上是致敬TempleOS，有開發者創建了啟動Llama 2的作業系統，網友：8G記憶體舊電腦就能跑的詳細內容。更多資訊請關注PHP中文網其他相關文章！
