Pengaturcaraan dataflow dengan jerami

Pengaturcaraan Dataflow, model pengkomputeran klasik, mengalami kebangkitan terima kasih kepada lonjakan perkhidmatan masa nyata skala web. Kesederhanaan, skalabilitas, dan kecekapan sumbernya menjadikannya sesuai untuk pelbagai cabaran kejuruteraan. Jerami, rangka kerja Node.js, memudahkan pelaksanaan dataflow, yang asalnya direka untuk pemprosesan data kewangan masa nyata dan mampu mengendalikan beribu-ribu mesej sesaat pada perkakasan sederhana.

Kod Struktur Jerami ke dalam nod yang saling berkaitan: Setiap nod menerima input, memprosesnya, dan hasil output. Reka bentuk modular ini memudahkan masalah yang rumit, meningkatkan skalabiliti dan daya tahan. Artikel ini menunjukkan keupayaan Straw dengan memperincikan permohonannya dalam perlombongan Twitter's Firehose untuk data tweet. Proses ini melibatkan penubuhan nod untuk menelan data mentah, melakukan analisis, dan mengedarkan hasil kepada pelayan dan pelanggan Express melalui WebSockets untuk visualisasi masa nyata.

Pengenalan kepada jerami dan jerami

Straw mentakrifkan topologi nod, masing -masing dengan input dan sifar atau lebih banyak output. Nod memproses mesej masuk menggunakan fungsi yang ditentukan pengguna, menghasilkan mesej output untuk nod yang disambungkan. Aplikasi contoh, Haystack, melibatkan nod untuk penggunaan data mentah dari firehose, penghalaan data untuk analisis, dan analisis nod sendiri. Data kemudian disampaikan kepada pelayan Express dan pelanggan melalui WebSockets. Untuk mengikuti, pasangkan haystack secara tempatan; Redis dan Bower adalah prasyarat. Pemasangan Bower:

. Haystack Cloning dan Persediaan: npm install -g bower

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

menjalankan aliran data firehose

Mengakses firehose Twitter memerlukan kelayakan API yang diperoleh dengan membuat aplikasi Twitter (baca kebenaran sahaja). Dapatkan

, consumer_key, consumer_secret, dan access_token_key dari tab API Keys. Kemas kini fail konfigurasi sampel Haystack () dengan kelayakan anda: access_token_secret config.js

Jalankan haystack menggunakan dua terminal berasingan: satu untuk topologi jerami (

exports.twitter = {
  consumer_key: '{your consumer key}',
  consumer_secret: '{your consumer secret}',
  access_token_key: '{your access token key}',
  access_token_secret: '{your access token secret}'
};

), dan satu lagi untuk pelayan ekspres (

). Akses visualisasi di node run. node server.js http://localhost:3000

Memahami topologi jerami (run.js)

Mendefinisikan topologi jerami. Nod dan sambungan mereka ditentukan dalam objek. Contohnya:

nod terletak di direktori run.js.

(tiada input) memperkenalkan mesej;

var topo = new straw.topology({
  'consume-firehose': {
    'node': __dirname + '/nodes/consume-firehose.js',
    'output': 'raw-tweets',
    'twitter': config.twitter
  },
  'route-tweets': {
    'node': __dirname + '/nodes/route-tweets.js',
    'input': 'raw-tweets',
    'outputs': {
      'geo': 'client-geo',
      'lang': 'lang',
      'text': 'text'
    }
  },
  // ... more nodes
});

Menunjukkan pelbagai output untuk penghalaan mesej terpilih.

nodes consume-firehose Nod Contoh (onsume-firehose.js dan route-tweets.js) route-tweets

:

consume-firehose.js:

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

node catch-langs (untuk pengagregatan bahasa)

catch-langs Mengagregatkan jumlah bahasa, secara berkala memancarkan jumlah untuk mengelakkan pelanggan yang luar biasa. Ia menggunakan setInterval untuk mengawal pelepasan, menambah jumlah bahasa dan memancarkan jumlah apabila perubahan berlaku.

pelayan ekspres (server.js) dan visualisasi sisi klien (haystack.js)

server.js menggunakan ekspres dan socket.io (atau sockjs) untuk melayani antara muka web dan menstrimkan data dari jerami menggunakan straw.tap. Klien () menerima dan memvisualisasikan data ini. public/js/haystack.js

Kesimpulan

Haystack mencontohkan pemprosesan data untuk aliran data masa nyata. Paralelisme dan modulariti jerami yang memudahkan tugas -tugas kompleks. Panjangkan haystack dengan menambahkan nod dan visualisasi.

Soalan-soalan yang sering ditanya (Soalan Lazim) Mengenai Pengaturcaraan Dataflow (Bahagian ini tetap tidak berubah dari input, kerana ia adalah bahagian FAQ yang serba lengkap. t memerlukan pengubahsuaian untuk tujuan penulisan semula ini.

Atas ialah kandungan terperinci Pengaturcaraan dataflow dengan jerami. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!