Gemini Embedding: Model Embedding Teks Berbilang Bahasa di bawah Rangka Kerja Google Gemini
Penyembuhan perkataan adalah penting untuk tugas pemprosesan bahasa semulajadi (NLP) dalam bahasa Hindi, seperti terjemahan mesin, soalan dan jawapan, dan pengambilan maklumat. Lembaran ini menangkap sifat-sifat semantik kata-kata, membolehkan aplikasi NLP yang lebih tepat dan berorientasikan konteks. Memandangkan sejumlah besar penceramah Hindi dan jumlah kandungan bahasa Hindi yang semakin meningkat, embedding berkualiti tinggi adalah penting untuk meningkatkan prestasi NLP dalam bahasa-bahasa ini. Penyembuhan yang disesuaikan secara khusus dapat menyelesaikan ciri -ciri bahasa yang unik dan batasan sumber keluarga bahasa India. Model Embedding Gemini yang baru dikeluarkan mewakili kemajuan yang signifikan dalam membenamkan teks berbilang bahasa, memanfaatkan rangka kerja Gemini AI yang kuat untuk mencapai prestasi terkini dalam lebih dari 100 bahasa.
Model penyembuhan Gemini adalah baik pada tugas -tugas seperti klasifikasi, pengambilan semula dan carian semantik, memberikan kecekapan dan ketepatan yang lebih besar. Dengan menyokong skala input yang lebih besar dan output dimensi yang lebih tinggi, embedding Gemini menyediakan perwakilan teks yang lebih kaya, membolehkannya digunakan secara meluas dalam pelbagai aplikasi.
*Artikel ini diterbitkan sebagai sebahagian daripada *** Blog Sains Data Marathon . ***
Pada bulan Mac 2025, Google mengeluarkan model teks Embedding Gemini yang baru (Gemini-Embedding-ExP-03-07) yang boleh digunakan dalam API Gemini.
Model embedding maju berasal dari model Gemini, yang dikatakan mewarisi pemahaman Gemini yang mendalam tentang nuansa bahasa dan konteks halus, membolehkannya digunakan secara meluas dalam pelbagai aplikasi. Ia menduduki tempat pertama dalam ranking berbilang bahasa MTEB.
Embedding Gemini mewakili teks sebagai vektor padat di mana input teks dengan semantik yang sama dipetakan ke vektor dalam ruang vektor yang berdekatan antara satu sama lain. Pada masa ini, ia menyokong lebih daripada 100 bahasa, dan embeddingnya boleh digunakan untuk pelbagai tugas seperti pengambilan dan klasifikasi.
Inti embedding Gemini didasarkan pada seni bina pengubah dan dimulakan dari Gemini LLM. Asas ini memberikan pemahaman yang mendalam tentang struktur bahasa dan semantik untuk model. Model ini menggunakan mekanisme perhatian dua arah untuk memproses urutan input supaya ia dapat mengambil kira konteks penuh perkataan atau frasa ketika menghasilkan embedding.
Fungsi Kerugian : Model Embedding Gemini dilatih menggunakan kerugian anggaran perbandingan bunyi (NCE) dengan contoh negatif dalam batch. Kehilangan sebenar akan berbeza -beza sedikit bergantung pada fasa latihan. Secara umumnya, contoh latihan termasuk pertanyaan, sasaran positif, dan (pilihan) sasaran yang sukar.
Baca Juga: Gemini Embedding: Universal Embedding dari Gemini
Kami membandingkan pencarian dokumen Hindi dengan embedding Gemini yang baru dikeluarkan dan kemudian membandingkannya dengan embeddings Jina AI dan embeddings berbilang bahasa-E5-besar. Seperti yang ditunjukkan dalam jadual berikut, Gemini Embedding dan Jina Ai Embedding adalah tinggi dari segi bilangan maksimum tag, yang membolehkan model mengendalikan dokumen panjang atau pertanyaan kompleks. Tambahan pula, seperti yang ditunjukkan dalam jadual berikut, embeddings Gemini mempunyai dimensi embedding yang lebih tinggi yang menangkap hubungan semantik yang lebih terperinci dan bernuansa antara kata -kata, yang membolehkan model mewakili perbezaan nuanced dalam corak bahasa dan makna yang kompleks.
| Bilangan parameter | Dimensi Embed | Tanda maksimum | Bilangan bahasa | Doll Embedding | |
| Gemini-embedding-exp-03-07 | tidak diketahui | 3072 | 8192 | 100 | Menyokong pemotongan embeddings ke pelbagai saiz, seperti 2048, 1024, 512, 256, dan 128 dimensi, |
| Jinaai/Jina-embeddings-V3 | 572 juta | 1024 | 8194 | 100 | Menyokong saiz embed fleksibel (32, 64, 128, 256, 512, 768, 1024), yang membolehkan embeds dipotong agar sesuai dengan aplikasi anda |
| Multiple-e5-Large-Instruct | 560 juta | 1024 | 514 | 94 | Na |
Dalam tutorial praktikal berikut, kami membandingkan carian dokumen Hindi dengan embedding Gemini yang baru dikeluarkan dan kemudian membandingkannya dengan embeddings Jina AI dan embeddings berbilang bahasa-E5-besar.
Langkah 1. Pasang perpustakaan yang diperlukan
<code>!pip install langchain-community !pip install chromadb</code>
Langkah 2. Muatkan data
Kami menggunakan data Hindi dari laman web untuk menilai prestasi Gemini yang membenamkan dalam pengambilan bahasa Hindi.
<code>from langchain_community.document_loaders import WebBaseLoader loader = WebBaseLoader("https://ckbirlahospitals.com/rbh/blog/pregnancy-early-symptoms-in-hindi") data = loader.load()</code>Langkah 3. Sekat data
Kod berikut menggunakan recursiveCharactertextsplitter untuk memecah dokumen teks besar ke dalam 500 aksara karakter tanpa pertindihan. Ia kemudian menggunakan perpecahan ini ke Datavariable dan menyimpan hasilnya dalam All_splits. Oleh kerana batas kadar API embedding Gemini, kami hanya menggunakan 10 pecahan.
<code>from langchain_text_splitters import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0) all_splits = text_splitter.split_documents(data) all_splits = all_splits[:10]</code>
Langkah 4. Simpan data dalam pangkalan data vektor
Kami mula -mula mencipta kelas yang dipanggil "GeminiembeddingFunction" yang membantu menanyakan API penyembuhan Gemini dan mengembalikan nilai tertanam pertanyaan input. Kami kemudian membuat fungsi yang dipanggil "create_chroma_db" untuk membuat koleksi di Chromadb yang akan menyimpan data serta dibenamkan.
<code>import chromadb from chromadb import Documents, EmbeddingFunction, Embeddings class GeminiEmbeddingFunction(EmbeddingFunction): def __call__(self, input: Documents) -> Embeddings: title = "Custom query" return client.models.embed_content( model="gemini-embedding-exp-03-07", contents=input).embeddings[0].values def create_chroma_db(documents, name): chroma_client = chromadb.Client() db = chroma_client.create_collection(name=name, embedding_function=GeminiEmbeddingFunction()) for i, d in enumerate(documents): db.add( documents=d.page_content, ids=str(i) ) return db db = create_chroma_db(all_splits, "datab")</code>
Langkah 5. Menanyakan pangkalan data
<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("आपको प्रेगनेंसी टेस्ट कब करवाना चाहिए?", db) print(passage)</code>Langkah 6. Bandingkan dengan Jina Ai Embedding
Kod berikut menggunakan model Transformer Face Hugging untuk menentukan fungsi penyembuhan tersuai, serta cara untuk memproses input teks untuk menghasilkan embeddings.
<code>from transformers import AutoTokenizer, AutoModel from chromadb import EmbeddingFunction tokenizer = AutoTokenizer.from_pretrained('jinaai/jina-embeddings-v3') model = AutoModel.from_pretrained('jinaai/jina-embeddings-v3') # the model returns many hidden states per document so we must aggregate them def average_pool(last_hidden_states, attention_mask): last_hidden = last_hidden_states.masked_fill(~attention_mask[...,None].bool(), 0.0) return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[...,None] class CustomHuggingFace(EmbeddingFunction): def __call__(self, texts): queries = [f'query: {text}' for text in texts] batch_dict = tokenizer(texts, max_length=512, padding=True, truncation=True, return_tensors='pt') outputs = model(**batch_dict) embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask']) return embeddings.tolist()</code>Pertanyaan
<code>def get_relevant_passage(query, db): passage = db.query(query_texts=[query], n_results=1)['documents'][0][0] return passage passage = get_relevant_passage("आपको प्रेगनेंसी टेस्ट कब करवाना चाहिए?", db) print(passage)</code>Untuk memilih Multiple-E5-Large Embed , kami hanya menggantikan Tokenizer dan Model dengan "Intfloat/Multilingual-E5-Large-Instruct".
| Nombor soalan | Pertanyaan | Gemini Embed | Jinaai/Jina-embeddings-V3 | Intfloat/multilingual-e5-large-instruct |
| 1 | आपको प्रेगनेंसी टेस्ट कब करवाना चाहिए? | Jika anda ingin mengetahui lebih lanjut mengenai gejala awal kehamilan, catatan blog ini sesuai untuk anda. Bilakah anda mesti menjalani ujian kehamilan? -mistak | Jika anda ingin mengetahui lebih lanjut mengenai gejala awal kehamilan, catatan blog ini sesuai untuk anda. Bilakah anda mesti menjalani ujian kehamilan? -mistak | Jika anda ingin mengetahui lebih lanjut mengenai gejala awal kehamilan, catatan blog ini sesuai untuk anda. Bilakah anda mesti menjalani ujian kehamilan? -mistak |
| 2 | Kehamilan के Kuch Simbol क्या होते हैं? | Apakah gejala awal kehamilan? Semasa kehamilan, banyak perubahan hormon berlaku pada wanita. Gejala awal kehamilan termasuk loya, muntah, kencing kerap dan keletihan, yang akan kita bincangkan dalam catatan blog ini. -kecor | Tanda -tanda kehamilan: Maklumat lengkap mengenai gejala awal! Log Masuk Pesakit Perundingan Pantas Home Hubungi kami: 08062136530 Kecemasan Telefon: 07340054470 Buka menu utama untuk melayani pesakit dan pelawat pesakit antarabangsa tentang kami membuat temujanji untuk memanggil WhatsApp untuk mengetahui tentang gejala awal kehamilan. Obstetrik dan Ginekologi | Pengarang: Dr. CP Dadhich | Tarikh Siaran: 6 Februari 2025 Kandungan Bilakah anda harus menjalani ujian kehamilan? Apakah gejala awal kehamilan? Gejala awal kehamilan kehamilan - Kesalahan | Apakah gejala awal kehamilan? Semasa kehamilan, banyak perubahan hormon berlaku pada wanita. Gejala awal kehamilan termasuk loya, muntah, kencing kerap dan keletihan, yang akan kita bincangkan dalam catatan blog ini. -kecor |
| 3 | गर्भावस्था के दौरान एंटीबायोटिक दवा लेने से कब बचा हिए? | Semasa beberapa hari pertama kehamilan, telur dan sperma disenyawakan, menyebabkan gejala seperti pendarahan dan sakit perut. Dalam tempoh ini, untuk kehamilan yang sihat, wanita dinasihatkan untuk mengelakkan mengambil antibiotik, kerana ini boleh berbahaya kepada ibu dan bayi. Gejala awal kehamilan tidak selalu tertunda haid atau muntah. Di samping itu, gejala lain mungkin berlaku dan memerlukan perhatian khusus, seperti - betul | Semasa beberapa hari pertama kehamilan, telur dan sperma disenyawakan, menyebabkan gejala seperti pendarahan dan sakit perut. Dalam tempoh ini, untuk kehamilan yang sihat, wanita dinasihatkan untuk mengelakkan mengambil antibiotik, kerana ini boleh berbahaya kepada ibu dan bayi. Gejala awal kehamilan tidak selalu tertunda haid atau muntah. Di samping itu, gejala lain mungkin berlaku dan memerlukan perhatian khusus, seperti - betul | Apa yang harus diketahui oleh setiap wanita. Untuk sebarang soalan yang berkaitan dengan kehamilan, kami mengesyorkan agar anda menghubungi pakar sakit puan kami untuk menghapuskan semua komplikasi. -mistak |
| 4 | कब गर्भावस्था में एंटीबायोटिक दवा लेने से बचाया जाए? | Semasa beberapa hari pertama kehamilan, telur dan sperma disenyawakan, menyebabkan gejala seperti pendarahan dan sakit perut. Dalam tempoh ini, untuk kehamilan yang sihat, wanita dinasihatkan untuk mengelakkan mengambil antibiotik, kerana ini boleh berbahaya kepada ibu dan bayi. Gejala awal kehamilan tidak selalu tertunda haid atau muntah. Di samping itu, gejala lain mungkin berlaku dan memerlukan perhatian khusus, seperti - betul | Semasa beberapa hari pertama kehamilan, telur dan sperma disenyawakan, menyebabkan gejala seperti pendarahan dan sakit perut. Dalam tempoh ini, untuk kehamilan yang sihat, wanita dinasihatkan untuk mengelakkan mengambil antibiotik, kerana ini boleh berbahaya kepada ibu dan bayi. Gejala awal kehamilan tidak selalu tertunda haid atau muntah. Di samping itu, gejala lain mungkin berlaku dan memerlukan perhatian khusus, seperti - betul | Apa yang harus diketahui oleh setiap wanita. Untuk sebarang soalan yang berkaitan dengan kehamilan, kami mengesyorkan agar anda menghubungi pakar sakit puan kami untuk menghapuskan semua komplikasi. -mistak |
| 5 | गर्भधारण का सबसे पहला सामान्य लक्षण क्या है? | Haid yang ditangguhkan: Ini adalah gejala kehamilan yang paling awal dan paling biasa. Pengesahan kehamilan berdasarkan semata -mata pada gejala ini tidak sepenuhnya betul. Walau bagaimanapun, jika haid ditangguhkan selama satu minggu atau lebih, ujian kehamilan disyorkan. Perubahan payudara: Semasa kehamilan, payudara akan membengkak, menjadi lembut atau berubah warna. Ia terutamanya berubah dalam saiz dan warna puting (isola). -kecor | Dengan ini, bagaimana untuk mengesahkan kehamilan? Bagaimana untuk menjaga bulan pertama kehamilan? Bagaimana cara membuat pemeriksaan kehamilan? Bagaimana saya harus duduk semasa kehamilan? Sekiranya seks berlaku semasa kehamilan? Buah -buahan apa yang harus anda makan semasa mengandung? Berapa banyak air yang harus anda minum semasa kehamilan? Kegembiraan menjadi seorang ibu adalah kebahagiaan terbesar di dunia. Semasa kehamilan, terdapat banyak perubahan dalam perubahan fizikal dan psikologi wanita. Anda memanggil perubahan ini gejala awal kehamilan - kesilapan | Apakah gejala awal kehamilan? Semasa kehamilan, banyak perubahan hormon berlaku pada wanita. Gejala awal kehamilan termasuk loya, muntah, kencing kerap dan keletihan, yang akan kita bincangkan dalam catatan blog ini. -kecor |
| 6 | गर्भधारण के पहले क क्या होते हैं? | Tanda -tanda kehamilan: Maklumat lengkap mengenai gejala awal! Log Masuk Pesakit Perundingan Pantas Home Hubungi kami: 08062136530 Kecemasan Telefon: 07340054470 Buka menu utama untuk melayani pesakit dan pelawat pesakit antarabangsa tentang kami membuat temujanji untuk memanggil WhatsApp untuk mengetahui tentang gejala awal kehamilan. Obstetrik dan Ginekologi | Pengarang: Dr. CP Dadhich | Tarikh Siaran: 6 Februari 2025 Kandungan Bilakah anda harus menjalani ujian kehamilan? Apakah gejala awal kehamilan? Gejala awal kehamilan kehamilan - Kesalahan | Dengan ini, bagaimana untuk mengesahkan kehamilan? Bagaimana untuk menjaga bulan pertama kehamilan? Bagaimana cara membuat pemeriksaan kehamilan? Bagaimana saya harus duduk semasa kehamilan? Sekiranya seks berlaku semasa kehamilan? Buah -buahan apa yang harus anda makan semasa mengandung? Berapa banyak air yang harus anda minum semasa kehamilan? Kegembiraan menjadi seorang ibu adalah kebahagiaan terbesar di dunia. Semasa kehamilan, terdapat banyak perubahan dalam perubahan fizikal dan psikologi wanita. Anda memanggil perubahan ini gejala awal kehamilan - kesilapan | Apakah gejala awal kehamilan? Semasa kehamilan, banyak perubahan hormon berlaku pada wanita. Gejala awal kehamilan termasuk loya, muntah, kencing kerap dan keletihan, yang akan kita bincangkan dalam catatan blog ini. -kecor |
| 7 | गर्भावस्था की पुष्टि के लिए से ह हाlet का पता लगाना होता है? | Masa terbaik untuk menjalani ujian kehamilan adalah selepas haid ditangguhkan sekurang -kurangnya 7 hari. Anda boleh menggunakan alat ujian kehamilan rumah untuk mengesan tahap HCG di rumah. Semasa kehamilan, tahap hormon ini akan meningkat dengan ketara. Satu perkara yang perlu anda perhatikan ialah ujian pramatang juga boleh membawa kepada keputusan yang salah, jadi jika tempoh anda ditangguhkan dan ujiannya negatif, disarankan agar anda menunggu sekurang -kurangnya 3 hari lagi sebelum anda menguji lagi. -kecor | Terdapat juga cara yang betul untuk melakukan ini, yang boleh anda lihat pada manual alat ujian. Untuk mendapatkan hasil yang tepat, anda harus menggunakan air kencing pertama pada waktu pagi, kerana tahap hormon HCG yang betul dapat diukur. Juga, jika anda mengalami gejala awal kehamilan dan keputusan ujian negatif, lihat doktor anda untuk ujian darah dengan segera. Walau apa pun, anda mesti berunding dengan doktor jika anda mempunyai sebarang pertanyaan. -kecor | Apakah gejala awal kehamilan? Semasa kehamilan, banyak perubahan hormon berlaku pada wanita. Gejala awal kehamilan termasuk loya, muntah, kencing kerap dan keletihan, yang akan kita bincangkan dalam catatan blog ini. -mistak |
Seperti yang dapat dilihat dari output Hindi di atas, dengan menggunakan Gemini Embedding, kami mendapat 5 output yang betul dari 7 pertanyaan, sambil menggunakan Jina Ai Embedding dan Multilingual-E5-Large, kami hanya mendapat 3 respons yang betul.
Ini menunjukkan bahawa, seperti yang ditunjukkan dalam penanda aras MTEB, embeddings Gemini berfungsi dengan baik dan mengendalikan pelbagai bahasa seperti Hindi lebih baik daripada model penyembuhan lain.
Singkatnya, penyembuhan Gemini mewakili kemajuan yang ketara dalam NLP berbilang bahasa, terutamanya untuk bahasa Hindi seperti Hindi. Dengan keupayaan berbilang bahasa yang kuat, sokongan untuk saiz input yang besar, dan prestasi unggul dalam tanda aras seperti MTEB, Gemini cemerlang dalam tugas -tugas seperti pengambilan, klasifikasi, dan carian semantik. Melalui perbandingan praktikal, prestasi Gemini lebih baik daripada model lain, memberikan ketepatan dan kecekapan yang lebih tinggi, menjadikannya alat yang berharga untuk mempromosikan NLP berbilang bahasa.
Media yang ditunjukkan dalam artikel ini tidak dimiliki oleh Analytics Vidhya dan boleh digunakan mengikut budi bicara penulis.
Q1. Apakah model penyembuhan Gemini? A: Model Embedding Gemini didasarkan pada Gemini AI Google dan menyediakan embedding teks berbilang bahasa yang paling tinggi untuk lebih daripada 100 bahasa termasuk Hindi.
S2. Apa yang unik mengenai penyembuhan Gemini berbanding dengan model lain? A: Gemini Embedding Excels dalam sokongan berbilang bahasa, boleh memproses 8000 penanda dan output 3072 dimensi, memastikan kecekapan dalam klasifikasi, pengambilan semula dan carian semantik.
Q3. Bagaimanakah penyembuhan Gemini melaksanakan tugas berbilang bahasa? Jawapan: Embedding Gemini berfungsi dengan baik dalam bahasa sumber tinggi seperti bahasa Inggeris dan bahasa rendah seperti Assamese dan Macedonian. Ia menduduki tempat nombor satu pada ranking berbilang bahasa MTEB, menunjukkan keupayaan berbilang bahasa yang kuat.
Q4. Apakah seni bina model penyembuhan Gemini? A: Model ini dimulakan dari Gemini LLM dan menggunakan seni bina pengubah dengan perhatian bidirectional untuk menjana embedding teks berkualiti tinggi yang menangkap konteks dan makna.
S5. Bagaimanakah model penyembuhan Gemini dilatih? A: Gemini Embedding menggunakan kerugian anggaran perbandingan bunyi (NCE) dengan contoh negatif dalam latihan untuk latihan. Ia melalui dua fasa latihan: pra-penalaan pada dataset besar dan dataset khusus tugas untuk meningkatkan prestasi NLP.
Atas ialah kandungan terperinci Perbandingan Gemini Embedding dengan Multilingual-E5-Large & Jina. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Apakah kegunaan bitlocker
Apakah jenis pemilih css yang ada?
kekunci pintasan skrin kunci tingkap
Cara menggunakan fungsi math.round
Cara menghantar teks dalam WeChat Moments
Penggunaan imej latar belakang
kaedah panggilan perkhidmatan web
Bagaimana untuk menyelesaikan pengecualian hujah haram
Perbezaan antara teg artikel dan teg bahagian
![[Web front-end] Permulaan pantas Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
