Pengaturcaraan Dataflow, model pengkomputeran klasik, mengalami kebangkitan terima kasih kepada lonjakan perkhidmatan masa nyata skala web. Kesederhanaan, skalabilitas, dan kecekapan sumbernya menjadikannya sesuai untuk pelbagai cabaran kejuruteraan. Jerami, rangka kerja Node.js, memudahkan pelaksanaan dataflow, yang asalnya direka untuk pemprosesan data kewangan masa nyata dan mampu mengendalikan beribu-ribu mesej sesaat pada perkakasan sederhana.
Kod Struktur Jerami ke dalam nod yang saling berkaitan: Setiap nod menerima input, memprosesnya, dan hasil output. Reka bentuk modular ini memudahkan masalah yang rumit, meningkatkan skalabiliti dan daya tahan. Artikel ini menunjukkan keupayaan Straw dengan memperincikan permohonannya dalam perlombongan Twitter's Firehose untuk data tweet. Proses ini melibatkan penubuhan nod untuk menelan data mentah, melakukan analisis, dan mengedarkan hasil kepada pelayan dan pelanggan Express melalui WebSockets untuk visualisasi masa nyata.
Pengenalan kepada jerami dan jerami
Straw mentakrifkan topologi nod, masing -masing dengan input dan sifar atau lebih banyak output. Nod memproses mesej masuk menggunakan fungsi yang ditentukan pengguna, menghasilkan mesej output untuk nod yang disambungkan. Aplikasi contoh, Haystack, melibatkan nod untuk penggunaan data mentah dari firehose, penghalaan data untuk analisis, dan analisis nod sendiri. Data kemudian disampaikan kepada pelayan Express dan pelanggan melalui WebSockets. Untuk mengikuti, pasangkan haystack secara tempatan; Redis dan Bower adalah prasyarat. Pemasangan Bower:. Haystack Cloning dan Persediaan: npm install -g bower
git clone https://github.com/simonswain/haystack cd haystack npm install bower install
menjalankan aliran data firehose
Mengakses firehose Twitter memerlukan kelayakan API yang diperoleh dengan membuat aplikasi Twitter (baca kebenaran sahaja). Dapatkan, consumer_key
, consumer_secret
, dan access_token_key
dari tab API Keys. Kemas kini fail konfigurasi sampel Haystack (access_token_secret
config.js
exports.twitter = { consumer_key: '{your consumer key}', consumer_secret: '{your consumer secret}', access_token_key: '{your access token key}', access_token_secret: '{your access token secret}' };), dan satu lagi untuk pelayan ekspres (
). Akses visualisasi di node run
. node server.js
http://localhost:3000
Memahami topologi jerami (run.js)
Mendefinisikan topologi jerami. Nod dan sambungan mereka ditentukan dalam objek. Contohnya:
nod terletak di direktori run.js
.
var topo = new straw.topology({ 'consume-firehose': { 'node': __dirname + '/nodes/consume-firehose.js', 'output': 'raw-tweets', 'twitter': config.twitter }, 'route-tweets': { 'node': __dirname + '/nodes/route-tweets.js', 'input': 'raw-tweets', 'outputs': { 'geo': 'client-geo', 'lang': 'lang', 'text': 'text' } }, // ... more nodes });Menunjukkan pelbagai output untuk penghalaan mesej terpilih.
nodes
consume-firehose
Nod Contoh (onsume-firehose.js dan route-tweets.js) route-tweets
:
consume-firehose.js
:
git clone https://github.com/simonswain/haystack cd haystack npm install bower install
node catch-langs (untuk pengagregatan bahasa)
catch-langs
Mengagregatkan jumlah bahasa, secara berkala memancarkan jumlah untuk mengelakkan pelanggan yang luar biasa. Ia menggunakan setInterval
untuk mengawal pelepasan, menambah jumlah bahasa dan memancarkan jumlah apabila perubahan berlaku.
pelayan ekspres (server.js) dan visualisasi sisi klien (haystack.js)
server.js
menggunakan ekspres dan socket.io (atau sockjs) untuk melayani antara muka web dan menstrimkan data dari jerami menggunakan straw.tap
. Klien (public/js/haystack.js
Kesimpulan
Haystack mencontohkan pemprosesan data untuk aliran data masa nyata. Paralelisme dan modulariti jerami yang memudahkan tugas -tugas kompleks. Panjangkan haystack dengan menambahkan nod dan visualisasi.
Soalan-soalan yang sering ditanya (Soalan Lazim) Mengenai Pengaturcaraan Dataflow (Bahagian ini tetap tidak berubah dari input, kerana ia adalah bahagian FAQ yang serba lengkap. t memerlukan pengubahsuaian untuk tujuan penulisan semula ini.
Atas ialah kandungan terperinci Pengaturcaraan dataflow dengan jerami. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undress AI Tool
Gambar buka pakaian secara percuma

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Java dan JavaScript adalah bahasa pengaturcaraan yang berbeza, masing -masing sesuai untuk senario aplikasi yang berbeza. Java digunakan untuk pembangunan aplikasi perusahaan dan mudah alih yang besar, sementara JavaScript digunakan terutamanya untuk pembangunan laman web.

JavaScriptcommentsareessentialformaintaining,reading,andguidingcodeexecution.1)Single-linecommentsareusedforquickexplanations.2)Multi-linecommentsexplaincomplexlogicorprovidedetaileddocumentation.3)Inlinecommentsclarifyspecificpartsofcode.Bestpractic

Titik berikut harus diperhatikan apabila tarikh pemprosesan dan masa di JavaScript: 1. Terdapat banyak cara untuk membuat objek tarikh. Adalah disyorkan untuk menggunakan rentetan format ISO untuk memastikan keserasian; 2. Dapatkan dan tetapkan maklumat masa boleh diperoleh dan tetapkan kaedah, dan ambil perhatian bahawa bulan bermula dari 0; 3. Tarikh pemformatan secara manual memerlukan rentetan, dan perpustakaan pihak ketiga juga boleh digunakan; 4. Adalah disyorkan untuk menggunakan perpustakaan yang menyokong zon masa, seperti Luxon. Menguasai perkara -perkara utama ini secara berkesan dapat mengelakkan kesilapan yang sama.

PlacingtagsatthebottomofablogpostorwebpageservespracticalpurposesforSEO,userexperience,anddesign.1.IthelpswithSEObyallowingsearchenginestoaccesskeyword-relevanttagswithoutclutteringthemaincontent.2.Itimprovesuserexperiencebykeepingthefocusonthearticl

JavaScriptispreferredforwebdevelopment, whersjavaisbetterforlarge-scalebackendsystemsandandroidapps.1) javascriptexcelsinceleatinginteractiveWebexperienceswithitsdynamicnatureanddommanipulation.2) javaoffersstrongyblectionandobjection

JavascripthassevenfundamentalDatypes: nombor, rentetan, boolean, undefined, null, objek, andsymbol.1) numberuseadouble-precisionformat, bergunaforwidevaluangesbutbecautiouswithfloating-pointarithmetic.2)

Penangkapan dan gelembung acara adalah dua peringkat penyebaran acara di Dom. Tangkap adalah dari lapisan atas ke elemen sasaran, dan gelembung adalah dari elemen sasaran ke lapisan atas. 1. Penangkapan acara dilaksanakan dengan menetapkan parameter useCapture addeventlistener kepada benar; 2. Bubble acara adalah tingkah laku lalai, useCapture ditetapkan kepada palsu atau ditinggalkan; 3. Penyebaran acara boleh digunakan untuk mencegah penyebaran acara; 4. Acara menggelegak menyokong delegasi acara untuk meningkatkan kecekapan pemprosesan kandungan dinamik; 5. Penangkapan boleh digunakan untuk memintas peristiwa terlebih dahulu, seperti pemprosesan pembalakan atau ralat. Memahami kedua -dua fasa ini membantu mengawal masa dan bagaimana JavaScript bertindak balas terhadap operasi pengguna.

Jika aplikasi JavaScript memuat perlahan -lahan dan mempunyai prestasi yang buruk, masalahnya adalah bahawa muatan terlalu besar. Penyelesaian termasuk: 1. Penggunaan kod pemisahan (codesplitting), memecah bundle besar ke dalam pelbagai fail kecil melalui react.lazy () atau membina alat, dan memuatkannya seperti yang diperlukan untuk mengurangkan muat turun pertama; 2. Keluarkan kod yang tidak digunakan (treeshaking), gunakan mekanisme modul ES6 untuk membersihkan "kod mati" untuk memastikan perpustakaan yang diperkenalkan menyokong ciri ini; 3. Memampatkan dan menggabungkan fail sumber, membolehkan GZIP/Brotli dan Terser memampatkan JS, menggabungkan fail dan mengoptimumkan sumber statik; 4. Gantikan kebergantungan tugas berat dan pilih perpustakaan ringan seperti hari.js dan ambil
