Akses data Web3: pengenalan kepada pengindeks dan projek berkaitan

Ditulis oleh Geng Kai, DFG

Kepentingan data dalam blockchain

Data adalah kunci kepada teknologi blockchain dan asas untuk membangunkan aplikasi terdesentralisasi (dApps). Walaupun kebanyakan perbincangan semasa berkisar tentang ketersediaan data (DA) – memastikan setiap peserta rangkaian mempunyai akses kepada data transaksi terkini untuk pengesahan – terdapat aspek yang sama penting yang sering diabaikan: kebolehaksesan data.

Dalam era blockchain modular, penyelesaian DA telah menjadi sangat diperlukan. Penyelesaian ini memastikan data transaksi tersedia kepada semua peserta, membolehkan pengesahan masa nyata dan mengekalkan integriti rangkaian. Walau bagaimanapun, lapisan DA berfungsi lebih seperti papan iklan daripada pangkalan data. Ini bermakna bahawa data itu tidak disimpan selama-lamanya;

Kebolehcapaian data, sebaliknya, memfokuskan pada keupayaan untuk mendapatkan semula data sejarah, yang penting untuk membangunkan dApps dan menjalankan analisis rantaian blok. Aspek ini penting untuk tugasan yang memerlukan akses kepada data lepas untuk memastikan perwakilan dan pelaksanaan yang tepat. Walaupun kebolehcapaian data adalah penting dan kurang dibincangkan, ia sama pentingnya dengan ketersediaan data. Kedua-duanya memainkan peranan yang berbeza tetapi saling melengkapi dalam ekosistem blockchain, dan pendekatan pengurusan data yang komprehensif mesti menangani kedua-dua isu untuk menyokong aplikasi blockchain yang berkuasa dan cekap.

Cara data blockchain diambil sebelum ini

Sejak penubuhannya, blockchain telah merevolusikan infrastruktur dan memacu penciptaan aplikasi terdesentralisasi (dApps) dalam pelbagai bidang seperti permainan, kewangan dan rangkaian sosial. Walau bagaimanapun, membina dApps ini memerlukan akses kepada sejumlah besar data blockchain, yang sukar dan mahal.

Satu pilihan untuk pembangun dApp ialah mengehoskan dan menjalankan nod RPC arkib anda sendiri. Nod ini menyimpan semua data blockchain sejarah dari awal, membenarkan akses penuh kepada data. Walau bagaimanapun, mengekalkan nod arkib adalah mahal dan mempunyai keupayaan pertanyaan terhad, menjadikannya mustahil untuk menanya data dalam format yang diperlukan oleh pembangun. Walaupun menjalankan nod yang lebih murah adalah pilihan, nod ini mempunyai keupayaan mendapatkan data yang terhad, yang mungkin menghalang operasi dApps.

Pendekatan lain ialah menggunakan pembekal nod RPC (Panggilan Prosedur Jauh) komersial. Penyedia ini bertanggungjawab untuk kos dan pengurusan nod dan menyediakan data melalui titik akhir RPC. Titik akhir RPC awam adalah percuma tetapi mempunyai had kadar yang mungkin memberi kesan negatif kepada pengalaman pengguna dApp. Titik akhir RPC peribadi memberikan prestasi yang lebih baik dengan mengurangkan kesesakan, tetapi pengambilan data yang mudah pun memerlukan banyak komunikasi bolak-balik. Ini menjadikan mereka permintaan-berat dan tidak cekap untuk pertanyaan data yang kompleks. Selain itu, titik akhir RPC persendirian selalunya sukar untuk skala dan kekurangan keserasian merentas rangkaian yang berbeza.

Alternatif yang Lebih Baik: Pengindeks Blockchain

Pengindeks Blockchain memainkan peranan penting dalam mengatur data dalam rantaian dan menghantarnya ke pangkalan data untuk pertanyaan mudah, itulah sebabnya mereka sering dipanggil Sebagai "Google of Blockchain". Mereka berfungsi dengan mengindeks data blockchain dan menjadikannya mudah didapati melalui bahasa pertanyaan seperti SQL (menggunakan API seperti GraphQL). Dengan menyediakan antara muka bersatu untuk data pertanyaan, pengindeks membenarkan pembangun mendapatkan semula maklumat yang mereka perlukan dengan cepat dan tepat menggunakan bahasa pertanyaan piawai, dengan sangat memudahkan proses.

Jenis pengindeks yang berbeza mengoptimumkan pengambilan data dalam pelbagai cara:

1. Pengindeks nod penuh: Pengindeks ini menjalankan nod blockchain penuh dan mengekstrak data terus daripadanya, memastikan data lengkap dan tepat, tetapi memerlukan banyak storan dan kuasa pemprosesan.

2. Pengindeks Ringan: Pengindeks ini bergantung pada nod penuh untuk mengambil data tertentu atas permintaan, sekali gus mengurangkan keperluan storan tetapi berkemungkinan meningkatkan masa pertanyaan.

3. Pengindeks khusus: Pengindeks ini pakar dalam jenis data tertentu atau blok blok tertentu, mengoptimumkan perolehan untuk kes penggunaan tertentu, seperti data NFT atau transaksi DeFi.

4. Pengindeks pengagregatan: Pengindeks ini menarik data daripada berbilang rantaian blok dan sumber, termasuk maklumat luar rantaian, menyediakan antara muka pertanyaan bersatu, yang amat berguna untuk dApps berbilang rantai.

Ethereum sahaja memerlukan 3TB ruang storan, dan apabila blockchain terus berkembang, jumlah storan data untuk nod arkib Erigan akan terus meningkat. Protokol Pengindeks menggunakan berbilang pengindeks untuk mengindeks dan menanya dengan cekap sejumlah besar data pada kelajuan tinggi yang tidak boleh dilakukan dengan RPC.

Pengindeks juga membenarkan pertanyaan yang kompleks, penapisan data yang mudah berdasarkan kriteria yang berbeza, dan analisis data selepas pengekstrakan. Sesetengah pengindeks juga membenarkan pengagregatan data daripada berbilang sumber, dengan itu mengelakkan keperluan untuk menggunakan berbilang API dalam dApp berbilang rantai. Dengan diedarkan merentasi berbilang nod, Pengindeks menyediakan keselamatan dan prestasi yang dipertingkatkan, manakala penyedia RPC mungkin mengalami gangguan dan masa henti akibat sifat terpusatnya.

Secara keseluruhan, pengindeks meningkatkan kecekapan dan kebolehpercayaan perolehan semula data sambil turut mengurangkan kos untuk menggunakan satu nod berbanding penyedia nod RPC. Ini menjadikan protokol Blockchain Indexer sebagai pilihan utama untuk pembangun dApp.

Kes Penggunaan Indeks

Seperti yang dinyatakan sebelum ini, membina dApp memerlukan mendapatkan semula dan membaca data blockchain untuk menjalankan perkhidmatannya. Ini termasuk sebarang jenis dApp, termasuk DeFi, platform NFT, permainan dan juga rangkaian sosial, kerana platform ini perlu membaca data sebelum mereka boleh melakukan transaksi lain.

DeFi

Protokol DeFi memerlukan maklumat yang berbeza untuk memetik harga, nisbah, yuran, dsb. Pembuat pasaran automatik (AMM) memerlukan maklumat harga dan kecairan tentang kumpulan tertentu untuk mengira kadar swap, manakala protokol pemberian pinjaman memerlukan penggunaan untuk menentukan kadar pinjaman dan nisbah hutang tercair. Sebelum mengira kadar faedah yang dilakukan oleh pengguna, adalah penting untuk memasukkan maklumat ke dalam dApp mereka.

Games

GameFi perlu mengindeks dan mengakses data dengan cepat untuk memastikan pengguna boleh bermain permainan dengan lancar. Hanya melalui pengambilan dan pelaksanaan data sepantas kilat boleh permainan Web3 menyaingi permainan Web2 dalam prestasi, dengan itu menarik lebih ramai pengguna. Permainan ini memerlukan data seperti pemilikan tanah, baki token dalam permainan, tindakan dalam permainan dan banyak lagi. Menggunakan pengindeks, mereka boleh memastikan aliran data yang stabil dan masa operasi yang konsisten untuk memastikan pengalaman permainan yang sempurna.

NFT

Pasaran NFT dan platform pinjaman memerlukan data diindeks untuk mengakses pelbagai maklumat, seperti metadata NFT, data pemilikan dan pemindahan, maklumat royalti dan banyak lagi. Mengindeks data ini dengan pantas menghapuskan keperluan untuk menyemak imbas setiap NFT secara individu untuk mencari pemilikan atau data atribut NFT.

Sama ada DeFi Automated Market Maker (AMM) yang memerlukan maklumat harga dan kecairan, atau aplikasi SocialFi yang perlu mengemas kini siaran pengguna baharu, keupayaan untuk mendapatkan data dengan cepat adalah penting untuk dApp berfungsi dengan baik. Dengan bantuan pengindeks, mereka boleh mendapatkan semula data dengan cekap dan betul, memberikan pengalaman pengguna yang lancar.

Analisis

Penindeks menyediakan cara untuk mengekstrak data khusus daripada data blok blok mentah, termasuk peristiwa kontrak pintar dalam setiap blok. Ini memberi peluang untuk analisis data yang lebih khusus untuk memberikan pandangan yang komprehensif.

Sebagai contoh, protokol perdagangan kekal boleh mengetahui token yang mempunyai volum dagangan yang tinggi dan token yang dikenakan yuran, dengan itu memutuskan sama ada untuk menyenaraikan token tersebut sebagai kontrak kekal pada platform mereka. Pembangun DEX boleh membuat papan pemuka untuk produk mereka untuk mendapatkan cerapan tentang kumpulan yang mempunyai pulangan tertinggi atau paling cair. Papan pemuka awam juga boleh dibuat, memberikan pembangun kebebasan dan fleksibiliti untuk menanyakan sebarang jenis data untuk dipaparkan pada carta.

Dengan berbilang pengindeks blok yang tersedia, mengenal pasti perbezaan antara protokol pengindeksan adalah penting untuk memastikan pembangun memilih pengindeks yang paling sesuai dengan keperluan mereka.

Tinjauan Pengindeks Blockchain

Tinjauan Pengindeks

Graf

Graf ialah protokol pengindeks pertama yang dilancarkan di Ethereum, menjadikannya mudah untuk menanyakan data transaksi yang tidak mudah diakses sebelum ini. Ia menggunakan subgraf untuk mentakrif dan menapis subset data yang dikumpul daripada rantaian blok, seperti semua transaksi yang berkaitan dengan kumpulan Uniswap v3 USDC/ETH.

Menggunakan bukti indeks, pengindeks menjanjikan GRT token asli untuk perkhidmatan pengindeksan dan pertanyaan, dan perwakilan boleh memilih untuk mempertaruhkan tokennya di sini. Kurator mempunyai akses kepada subgraf berkualiti tinggi untuk membantu pengindeks menentukan subgraf untuk mengindeks data untuk memperoleh yuran pertanyaan terbaik. Sebagai sebahagian daripada peralihan kepada desentralisasi yang lebih besar, The Graph akhirnya akan menghentikan perkhidmatan pengehosannya dan memerlukan subgraf untuk menaik taraf kepada rangkaiannya, sambil menyediakan pengindeks yang ditingkatkan.

Infrastrukturnya membolehkan kos purata setiap juta pertanyaan sebanyak $40, yang jauh lebih rendah daripada kos nod yang dihoskan sendiri. Menggunakan sumber data fail, ia juga menyokong pengindeksan selari kedua-dua data dalam rantaian dan luar rantaian untuk mendapatkan semula data yang cekap.

Lihat ganjaran pengindeks The Graph, yang telah berkembang dengan stabil sejak beberapa suku yang lalu. Ini sebahagiannya disebabkan oleh peningkatan dalam volum pertanyaan, tetapi juga disebabkan oleh kenaikan harga token kerana mereka merancang untuk menyepadukan pertanyaan berbantukan AI pada masa hadapan.

Subsquid

Subsquid ialah tasik data terpencar berskala mendatar yang boleh mengagregat sejumlah besar data dalam rantaian dan luar rantaian dan melindunginya dengan bukti pengetahuan sifar. Sebagai rangkaian pekerja yang terdesentralisasi, setiap nod bertanggungjawab untuk menyimpan data daripada subset blok tertentu, mempercepatkan proses mendapatkan data dengan cepat mengenal pasti nod yang memegang data yang diperlukan.

Subsquid juga menyokong pengindeksan masa nyata, membenarkan blok diindeks sebelum ia dimuktamadkan. Ia juga menyokong penyimpanan data dalam format pilihan pembangun, membolehkan analisis lebih mudah menggunakan alat seperti BigQuery, Parket atau CSV. Selain itu, subgraf boleh digunakan pada rangkaian Subsquid tanpa berhijrah ke SDK Squid, yang membolehkan penggunaan tanpa kod.

Semasa masih dalam fasa testnet, Subsquid telah mencapai statistik yang mengagumkan dengan lebih 80,000 pengguna testnet, lebih 60,000 pengindeks Squid digunakan, dan lebih 20,000 pembangun disahkan pada rangkaian. Terbaru, pada 3 Jun, Subsquid melancarkan mainnet tasik datanya.

Selain pengindeksan, tasik data Rangkaian Subsquid boleh menggantikan RPC dalam kes penggunaan seperti analitik, pemproses bersama ZK/TEE, ejen AI dan Oracle.

SubQuery

SubQuery ialah rangkaian infrastruktur perisian tengah terdesentralisasi yang menyediakan RPC dan perkhidmatan data terindeks. Ia pada mulanya menyokong rangkaian Polkadot dan Substrat dan kini telah berkembang untuk merangkumi lebih 200 rantai. Ia berfungsi sama seperti The Graph menggunakan Bukti Indeks, dengan pengindeks mengindeks data dan melayani permintaan pertanyaan, dan perwakilan mempertaruhkan saham mereka kepada pengindeks. Walau bagaimanapun, ia memperkenalkan pengguna untuk menyerahkan pesanan pembelian untuk menunjukkan bahawa pendapatan pengindeks adalah terjamin, bukannya pendapatan pengurus.

Ia akan memperkenalkan nod data SubQuery yang menyokong sharding untuk menghalang penyegerakan berterusan data baharu antara setiap nod, dengan itu mengoptimumkan kecekapan pertanyaan sambil bergerak ke arah desentralisasi yang lebih besar. Pengguna boleh memilih untuk membayar yuran pengiraan kira-kira 1 token SQT bagi setiap 1000 permintaan, atau menetapkan yuran tersuai untuk pengindeks melalui protokol.

Walaupun SubQuery hanya melancarkan tokennya awal tahun ini, ganjaran pengeluaran untuk nod dan delegator juga telah meningkat dalam nilai USD bulan ke bulan, yang juga mewakili peningkatan bilangan perkhidmatan pertanyaan yang disediakan pada platformnya. Sejak TGE, jumlah keseluruhan SQT yang dipertaruhkan telah meningkat daripada 6 juta kepada 125 juta, menyerlahkan pertumbuhannya dalam penyertaan rangkaian.

Covalent

Covalent ialah rangkaian pengindeks terpencar di mana nod rangkaian Block Sample Producer (BSP) mencipta salinan data blockchain melalui eksport kelompok dan menerbitkan bukti pada blok Covalent L1 . Data ini kemudiannya diperhalusi oleh nod Block Result Producer (BRP) mengikut peraturan yang ditetapkan dan data yang memenuhi keperluan ditapis keluar.

Dengan API bersatu, pembangun boleh mengekstrak data blockchain yang berkaitan dengan mudah dalam format permintaan dan respons yang konsisten, tanpa perlu menulis pertanyaan kompleks tersuai untuk mengakses data. Set data prakonfigurasi ini boleh diekstrak daripada operator rangkaian menggunakan token CQT yang diselesaikan pada Moonbeam sebagai cara pembayaran.

Ganjaran Covalent nampaknya meningkat secara amnya daripada Q1’23 kepada Q1’24, sebahagiannya disebabkan oleh kenaikan harga CQT token Covalent.

Perkara yang perlu dipertimbangkan semasa memilih pengindeks

Kebolehsuaian data

Sesetengah pengindeks (cth. Covalent) ialah pengindeks tujuan umum yang hanya menyediakan set data prakonfigurasi standard melalui API. Walaupun mereka mungkin pantas, mereka tidak memberikan fleksibiliti untuk pembangun yang memerlukan set data tersuai. Dengan menggunakan rangka kerja pengindeks, ia membolehkan lebih banyak pemprosesan data tersuai untuk memenuhi keperluan khusus aplikasi.

Keselamatan

Data yang diindeks mestilah selamat, jika tidak, dApps yang dibina di atas pengindeks ini juga akan terdedah. Contohnya, jika urus niaga dan baki dompet boleh dimanipulasi, dApp berisiko kehilangan kecairan, memberi kesan kepada penggunanya. Walaupun semua pengindeks menggunakan beberapa bentuk keselamatan melalui token staking pengindeks, penyelesaian pengindeks lain mungkin menggunakan bukti untuk meningkatkan lagi keselamatan.

Subsquid menawarkan pilihan untuk menggunakan bukti optimistik dan pengetahuan sifar, manakala Covalent juga mengeluarkan bukti yang termasuk cincang blok. Graf menyediakan tempoh cabaran yang dipertikaikan untuk pertanyaan pengindeks dalam bentuk tetingkap cabaran optimistik, manakala SubQuery menjana bukti Merkle Mountain untuk setiap blok untuk mengira cincang bagi setiap blok semua data yang disimpan dalam pangkalan datanya.

Kelajuan dan Kebolehskalaan

Memandangkan blockchain terus berkembang, begitu juga volum urus niaga, menjadikan pengindeksan sejumlah besar data lebih menyusahkan kerana lebih banyak kuasa pemprosesan dan ruang storan diperlukan. Apabila rangkaian blockchain berkembang, mengekalkan kecekapan menjadi lebih sukar, tetapi Protokol Pengindeks memperkenalkan penyelesaian untuk memenuhi keperluan yang semakin meningkat ini.

Sebagai contoh, Subsquid menskala secara mendatar dengan menambahkan lebih banyak nod untuk menyimpan data, dan ia dapat menskalakan apabila perkakasan bertambah baik. Graf menyediakan data penstriman selari untuk penyegerakan data yang lebih pantas, manakala SubQuery memperkenalkan sharding nod untuk mempercepatkan proses penyegerakan.

Rangkaian yang Disokong

Walaupun kebanyakan aktiviti blockchain masih berlaku dalam Ethereum, blockchain yang berbeza menjadi lebih popular dari semasa ke semasa. Contohnya, rantai ekosistem Layer 2s, Solana, Move blockchain dan Bitcoin semuanya mempunyai set pembangun dan aktiviti yang semakin berkembang, yang juga memerlukan perkhidmatan pengindeksan.

Peroleh lebih banyak yuran bahagian pasaran dengan menyokong rantaian tertentu yang tidak disokong oleh protokol pengindeks lain. Mengindeks rangkaian intensif data seperti Solana bukanlah tugas yang mudah, dan setakat ini hanya Subsquid yang berjaya memberikan sokongan pengindeksan untuk mereka.

Kesimpulan

Walaupun penggunaan meluas mereka dalam pembangunan dApp, potensi pengindeks masih besar, terutamanya apabila disepadukan dengan AI. Memandangkan AI terus menjadi lebih berleluasa dalam Web2 dan Web3, keupayaannya untuk bertambah baik bergantung pada akses kepada data yang berkaitan untuk melatih model dan membangunkan ejen AI. Memastikan integriti data adalah penting untuk aplikasi AI kerana ia menghalang model daripada diberi maklumat berat sebelah atau tidak tepat.

Dalam dunia penyelesaian pengindeks, Subsquid telah mencapai kemajuan yang ketara dalam prestasi dan metrik pengguna. Pengguna telah mula bereksperimen dengan membina ejen AI menggunakan Subsquid, menunjukkan kepelbagaian dan potensi platform dalam dunia pengindeksan data yang semakin berkembang. Selain itu, alatan seperti AutoAgora membantu pengindeks menggunakan AI untuk menyediakan harga dinamik untuk perkhidmatan pertanyaan pada The Graph, manakala SubQuery menyokong berbilang rangkaian AI seperti OriginTrail dan Oraichain untuk pengindeksan data telus.

Penyepaduan kecerdasan buatan dengan pengindeks dijangka meningkatkan kebolehcapaian dan kebolehgunaan data dalam ekosistem rantaian blok. Dengan memanfaatkan teknologi kecerdasan buatan, pengindeks boleh menyediakan perolehan semula data yang lebih cekap dan tepat, membolehkan pembangun membina dApps dan alat analitik yang lebih kompleks. Memandangkan AI dan pengindeks terus berkembang bersama, kami kekal optimistik tentang masa depan pengindeksan data dan peranannya dalam membentuk landskap digital terdesentralisasi.

Atas ialah kandungan terperinci Akses data Web3: pengenalan kepada pengindeks dan projek berkaitan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!