Memperkenalkan lapan penyelesaian model besar sumber terbuka dan percuma kerana ChatGPT dan Bard terlalu mahal.

1.LLaMA

Projek LLaMA mengandungi satu set model bahasa asas, bersaiz antara 7 bilion hingga 65 bilion parameter. Model ini dilatih menggunakan berjuta-juta token, dan ia dilatih sepenuhnya pada set data yang tersedia untuk umum. Hasilnya, LLaMA-13B mengatasi GPT-3 (175B), manakala LLaMA-65B menunjukkan prestasi yang sama dengan model terbaik seperti Chinchilla-70B dan PaLM-540B.

Imej daripada LLaMA

Sumber:

• Kertas penyelidikan: “LLaMA: Model Bahasa Asas Terbuka dan Cekap (arxiv. org)" [https://arxiv.org/abs/2302.13971]
• GitHub: facebookresearch/llama [https://github.com/facebookresearch/llama]
• Demo: Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]

2.Alpaca

Alpaca Stanford mendakwa ia boleh bersaing dengan ChatGPT dan sesiapa sahaja boleh menyalinnya dengan harga kurang daripada $600. Alpaca 7B diperhalusi daripada model LLaMA 7B pada demonstrasi ikut arahan 52K.

Kandungan latihan｜Gambar dari Stanford University CRFM

Sumber:

• Blog: Stanford CRFM. [https://crfm.stanford.edu/2023/03/13/alpaca.html]
• GitHub: tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
• Demo: Alpaca-LoRA (demo rasmi telah hilang, ini adalah persembahan model Alpaca) [https://huggingface.co/spaces/tloen/alpaca-lora]

3.Vicuna

Vicuna diperhalusi berdasarkan model LLaMA pada perbualan kongsi pengguna yang dikumpulkan daripada ShareGPT. Model Vicuna-13B telah mencapai lebih daripada 90% kualiti OpenAI ChatGPT dan Google Bard. Ia juga mengatasi model LLaMA dan Stanford Alpaca 90% pada masa itu. Kos untuk melatih Vicuna adalah lebih kurang $300.

Imej daripada Vicuna

Sumber:

• Catatan blog: “Vicuna: Chatbot Sumber Terbuka Mengesankan GPT-4 dengan 90%* Kualiti ChatGPT” [https://vicuna.lmsys.org/]
• GitHub: lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning ]
• Demo: FastChat (lmsys.org) [https://chat.lmsys.org/]

4.OpenChatKit

OpenChatKit: Alternatif sumber terbuka kepada ChatGPT, kit alat lengkap untuk mencipta chatbots. Ia menyediakan model bahasa yang besar untuk melatih pelarasan arahan pengguna sendiri, model yang diperhalusi, sistem dapatkan semula berskala untuk mengemas kini respons bot dan arahan untuk menapis semakan bot bagi soalan.

Gambar dari BERSAMA

Seperti yang anda lihat, model GPT-NeoXT-Chat-Base-20B berprestasi lebih baik daripada mod Asas GPT-NoeX.

Sumber:

• Catatan blog: "Mengumumkan OpenChatKit" - BERSAMA [https://www.together.xyz/blog/openchatkit]
• GitHub: togethercomputer /OpenChatKit [https://github.com/togethercomputer/OpenChatKit]
• Demo: OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
• Kad Model: togethercomputer/ GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B]

5.GPT4ALL

GPT4ALL ialah projek dipacu komuniti dan dilatih pada korpus besar interaksi tambahan, termasuk kod, cerita, perihalan dan perbualan berbilang pusingan. Pasukan itu menyediakan set data, berat model, proses pengurusan data dan kod latihan untuk memudahkan sumber terbuka. Selain itu, mereka mengeluarkan versi model 4-bit terkuantisasi yang boleh dijalankan pada komputer riba. Anda juga boleh menggunakan klien Python untuk menjalankan inferens model.

Imej daripada GPT4ALL

Sumber:

• Laporan Teknikal: GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
• GitHub: nomic-ai/gpt4al [https:/ /github.com/nomic-ai/gpt4all]
• Demo: GPT4All (tidak rasmi). [https://huggingface.co/spaces/rishiraj/GPT4All]
• Kad model: nomic-ai/gpt4all-lora · Muka Memeluk [https://huggingface.co/nomic-ai/gpt4all-lora ]

6.Raven RWKV

Raven RWKV 7B ialah robot sembang sumber terbuka yang digerakkan oleh model bahasa RWKV untuk menjana Keputusan adalah serupa dengan ChatGPT. Model ini menggunakan RNN, yang boleh memadankan pengubah dari segi kualiti dan kebolehskalaan, sambil lebih pantas dan menjimatkan VRAM. Raven diperhalusi pada Stanford Alpaca, kod-alpaca dan lebih banyak set data.

Imej daripada Raven RWKV 7B

Sumber:

• GitHub: BlinkDL/ChatRWKV [https://github.com /BlinkDL/ChatRWKV]
• Demo: Raven RWKV 7B [https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B]
• Kad model: BlinkDL/rwkv-4- gagak [https://huggingface.co/BlinkDL/rwkv-4-raven]

7.OPT

OPT: Model bahasa Transformer Pra-terlatih Terbuka tidak sekuat ChatGPT, tetapi ia menunjukkan keupayaan yang sangat baik dalam pembelajaran sifar dan beberapa pukulan dan analisis bias stereotaip. Ia juga boleh disepadukan dengan Alpa, Colossal-AI, CTranslate2 dan FasterTransformer untuk hasil yang lebih baik. NOTA: Sebab ia membuat senarai adalah popularitinya, kerana ia mempunyai 624,710 muat turun sebulan dalam kategori penjanaan teks.

Imej daripada (arxiv.org)

Sumber:

• Kertas penyelidikan: "OPT: Buka Transformer Pra-latihan Model Bahasa (arxiv.org)” [https://arxiv.org/abs/2205.01068]
• GitHub: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
• Demo: Tera Air untuk LLM [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
• Kad model: facebook/opt-1.3b [https://huggingface. co/facebook/opt-1.3b]

8.Flan-T5-XXL

Flan-T5-XXL in The Model T5 diperhalusi pada set data yang dinyatakan dalam bentuk arahan. Penalaan halus arahan telah meningkatkan prestasi pelbagai kelas model seperti PaLM, T5 dan U-PaLM. Model Flan-T5-XXL diperhalusi pada lebih daripada 1000 tugasan tambahan, meliputi lebih banyak bahasa.

Imej daripada Flan-T5-XXL

Sumber:

• Kertas penyelidikan: "Menskalakan Model Bahasa Pengajaran-Ditala Halus ” [https://arxiv.org/pdf/2210.11416.pdf]
• GitHub: google-research/t5x [https://github.com/google-research/t5x]
• Demo: Penstriman Llm Sembang [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
• Kad model: google/flan-t5-xxl [https://huggingface.co/google /flan-t5-xxl?text=Q%3A+%28+Salah+atau+tidak+Salah+atau+Salah+%29+adalah%3F+A%3A+Biarkan%27s+berfikir+langkah+demi+langkah]

Ringkasan

Terdapat banyak model besar sumber terbuka untuk dipilih daripada 8 model besar yang lebih popular.

Atas ialah kandungan terperinci Memperkenalkan lapan penyelesaian model besar sumber terbuka dan percuma kerana ChatGPT dan Bard terlalu mahal.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!