經(jīng)典計(jì)算模型

數(shù)據(jù)流編程，由于網(wǎng)絡(luò)規(guī)模的實(shí)時(shí)服務(wù)的激增，正在經(jīng)歷復(fù)興。它固有的簡單性，可擴(kuò)展性和資源效率使其非常適合眾多工程挑戰(zhàn)。 Straw是一個(gè)Node.js框架，促進(jìn)了數(shù)據(jù)流的實(shí)現(xiàn)，最初是為實(shí)時(shí)財(cái)務(wù)數(shù)據(jù)處理而設(shè)計(jì)的，并且能夠在適度的硬件上每秒處理數(shù)千封消息。稻草結(jié)構(gòu)代碼為互連的節(jié)點(diǎn)：每個(gè)節(jié)點(diǎn)都會接收輸入，處理并輸出結(jié)果。這種模塊化設(shè)計(jì)簡化了復(fù)雜的問題，增強(qiáng)了可擴(kuò)展性和彈性。本文通過詳細(xì)介紹其在Twitter的Firehose中用于推文數(shù)據(jù)中的應(yīng)用來展示Straw的功能。 該過程涉及設(shè)置節(jié)點(diǎn)以攝入原始數(shù)據(jù)，執(zhí)行分析并通過Websockets進(jìn)行實(shí)時(shí)可視化向Express Server和客戶端分發(fā)結(jié)果。

稻草和干草概論>

稻草定義了節(jié)點(diǎn)的拓?fù)?，每個(gè)拓?fù)涠紟в休斎牒土慊蚋噍敵觥? 節(jié)點(diǎn)使用用戶定義的功能處理傳入消息，從而為連接的節(jié)點(diǎn)生成輸出消息。 示例應(yīng)用程序Haystack涉及從消防人員那里消耗原始數(shù)據(jù)的節(jié)點(diǎn)，數(shù)據(jù)路由進(jìn)行分析和分析節(jié)點(diǎn)本身。然后將數(shù)據(jù)通過Websocket傳輸?shù)紼xpress服務(wù)器和客戶端。 要跟隨，請?jiān)诒镜匕惭bHaystack； Redis和Bower是先決條件。 鮑爾安裝：

。 干草堆克隆和設(shè)置：npm install -g bower

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

>運(yùn)行FireHose數(shù)據(jù)流>

>訪問Twitter FireHose需要通過創(chuàng)建Twitter應(yīng)用程序獲得的API憑據(jù)（僅讀取權(quán)限）。 從API密鑰選項(xiàng)卡中獲取

，consumer_key，consumer_secret。 用您的憑據(jù)更新Haystack的示例配置文件（access_token_key）：access_token_secret> config.js

>使用兩個(gè)單獨(dú)的終端運(yùn)行干草堆：一個(gè)用于稻草拓?fù)洌?pre class='brush:php;toolbar:false;'>exports.twitter = { consumer_key: '{your consumer key}', consumer_secret: '{your consumer secret}', access_token_key: '{your access token key}', access_token_secret: '{your access token secret}' };），另一個(gè)用于Express Server（

）。訪問node run。node server.js的可視化 http://localhost:3000

了解稻草拓?fù)洌╮un.js）

>

定義稻草拓??撲。 節(jié)點(diǎn)及其連接在對象中指定。 例如：

run.js

>節(jié)點(diǎn)位于

var topo = new straw.topology({
  'consume-firehose': {
    'node': __dirname + '/nodes/consume-firehose.js',
    'output': 'raw-tweets',
    'twitter': config.twitter
  },
  'route-tweets': {
    'node': __dirname + '/nodes/route-tweets.js',
    'input': 'raw-tweets',
    'outputs': {
      'geo': 'client-geo',
      'lang': 'lang',
      'text': 'text'
    }
  },
  // ... more nodes
});

>目錄中。

（無輸入）引入消息； nodes演示了選擇性消息路由的多個(gè)輸出。consume-firehose route-tweets>

>示例節(jié)點(diǎn)（消耗firehose.js and route-tweets.js）

：

consume-firehose.js

// nodes/consume-firehose.js
var straw = require('straw');
var Twitter = require('twitter');

module.exports = straw.node.extend({
  initialize: function(opts, done) {
    this.twit = new Twitter(opts.twitter);
    process.nextTick(done);
  },
  run: function(done) {
    var self = this;
    this.twit.stream('statuses/sample', function(stream) {
      stream.on('data', function(data) {
        self.output(data);
      });
    });
    done(false);
  }
});

：

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

>catch-langs節(jié)點(diǎn)（用于語言聚合）

>

catch-langs匯總語言計(jì)數(shù)，定期排放總計(jì)以避免壓倒性的客戶。 它使用setInterval來控制發(fā)射，增加語言計(jì)數(shù)并在發(fā)生變化時(shí)發(fā)射總數(shù)。

使用express和socket.io（或sockjs）使用A

從Straw中提供Web界面和流數(shù)據(jù)。 客戶端（

）接收并可視化此數(shù)據(jù)。server.js> straw.tappublic/js/haystack.js結(jié)論

Haystack 示例用于實(shí)時(shí)數(shù)據(jù)流的數(shù)據(jù)流處理。 Straw的固有的并行性和模塊化簡化了復(fù)雜的任務(wù)。 通過添加節(jié)點(diǎn)和可視化來擴(kuò)展干草堆。>

>

>關(guān)于數(shù)據(jù)流程編程的常見問題（常見問題解答）（本節(jié)在很大程度上與輸入保持不變，因?yàn)檫@是一個(gè)獨(dú)立的常見問題解答部分。）提供的常見問題解答是全面且編寫良好的，并且不撰寫，并且不撰寫'' t需要為此重寫而進(jìn)行修改。

以上是用稻草編程數(shù)據(jù)流程的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！