經(jīng)典計算模型

數(shù)據(jù)流編程，由於網(wǎng)絡(luò)規(guī)模的實時服務(wù)的激增，正在經(jīng)歷復(fù)興。它固有的簡單性，可擴展性和資源效率使其非常適合眾多工程挑戰(zhàn)。 Straw是一個Node.js框架，促進了數(shù)據(jù)流的實現(xiàn)，最初是為實時財務(wù)數(shù)據(jù)處理而設(shè)計的，並且能夠在適度的硬件上每秒處理數(shù)千封消息。 稻草結(jié)構(gòu)代碼為互連的節(jié)點：每個節(jié)點都會接收輸入，處理並輸出結(jié)果。這種模塊化設(shè)計簡化了複雜的問題，增強了可擴展性和彈性。本文通過詳細介紹其在Twitter的Firehose中用於推文數(shù)據(jù)中的應(yīng)用來展示Straw的功能。 該過程涉及設(shè)置節(jié)點以攝入原始數(shù)據(jù)，執(zhí)行分析並通過Websockets進行實時可視化向Express Server和客戶端分發(fā)結(jié)果。

稻草和乾草概論>

稻草定義了節(jié)點的拓撲，每個拓撲都帶有輸入和零或更多輸出。 節(jié)點使用用戶定義的功能處理傳入消息，從而為連接的節(jié)點生成輸出消息。 示例應(yīng)用程序Haystack涉及從消防人員那裡消耗原始數(shù)據(jù)的節(jié)點，數(shù)據(jù)路由進行分析和分析節(jié)點本身。然後將數(shù)據(jù)通過Websocket傳輸?shù)紼xpress服務(wù)器和客戶端。 要跟隨，請在本地安裝Haystack； Redis和Bower是先決條件。 鮑爾安裝：

。 乾草堆克隆和設(shè)置：npm install -g bower

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

>運行FireHose數(shù)據(jù)流>

>訪問Twitter FireHose需要通過創(chuàng)建Twitter應(yīng)用程序獲得的API憑據(jù)（僅讀取權(quán)限）。 從API密鑰選項卡中獲取

，consumer_key，consumer_secret。 用您的憑據(jù)更新Haystack的示例配置文件（access_token_key）：access_token_secret> config.js

>使用兩個單獨的終端運行乾草堆：一個用於稻草拓撲（

exports.twitter = {
  consumer_key: '{your consumer key}',
  consumer_secret: '{your consumer secret}',
  access_token_key: '{your access token key}',
  access_token_secret: '{your access token secret}'
};

），另一個用於Express Server（

）。訪問node run。 node server.js的可視化 http://localhost:3000

了解稻草拓撲（run.js）

>

定義稻草拓??撲。 節(jié)點及其連接在對像中指定。 例如：

run.js

>節(jié)點位於

var topo = new straw.topology({
  'consume-firehose': {
    'node': __dirname + '/nodes/consume-firehose.js',
    'output': 'raw-tweets',
    'twitter': config.twitter
  },
  'route-tweets': {
    'node': __dirname + '/nodes/route-tweets.js',
    'input': 'raw-tweets',
    'outputs': {
      'geo': 'client-geo',
      'lang': 'lang',
      'text': 'text'
    }
  },
  // ... more nodes
});

>目錄中。

（無輸入）引入消息； nodes演示了選擇性消息路由的多個輸出。 consume-firehose route-tweets>

>示例節(jié)點（消耗firehose.js and route-tweets.js）

：

consume-firehose.js

// nodes/consume-firehose.js
var straw = require('straw');
var Twitter = require('twitter');

module.exports = straw.node.extend({
  initialize: function(opts, done) {
    this.twit = new Twitter(opts.twitter);
    process.nextTick(done);
  },
  run: function(done) {
    var self = this;
    this.twit.stream('statuses/sample', function(stream) {
      stream.on('data', function(data) {
        self.output(data);
      });
    });
    done(false);
  }
});

：

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

>catch-langs節(jié)點（用於語言聚合）

>

catch-langs匯總語言計數(shù)，定期排放總計以避免壓倒性的客戶。 它使用setInterval來控制發(fā)射，增加語言計數(shù)並在發(fā)生變化時發(fā)射總數(shù)。

使用express和socket.io（或sockjs）使用A

從Straw中提供Web界面和流數(shù)據(jù)。 客戶端（

）接收並可視化此數(shù)據(jù)。 server.js> straw.tappublic/js/haystack.js結(jié)論

Haystack 示例用於實時數(shù)據(jù)流的數(shù)據(jù)流處理。 Straw的固有的並行性和模塊化簡化了複雜的任務(wù)。 通過添加節(jié)點和可視化來擴展乾草堆。 >

>

>關(guān)於數(shù)據(jù)流程編程的常見問題（常見問題解答）（本節(jié)在很大程度上與輸入保持不變，因為這是一個獨立的常見問題解答部分。 ）提供的常見問題解答是全面且編寫良好的，並且不撰寫，並且不撰寫'' t需要為此重寫而進行修改。

以上是用稻草編程數(shù)據(jù)流程的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！