古典的なコンピューティングモデルであるデータフロープログラミングは、Webスケールのリアルタイムサービスの急増のおかげで、リバイバルを経験しています。その固有のシンプルさ、スケーラビリティ、およびリソース効率により、多くのエンジニアリングの課題に最適です。 Node.jsフレームワークであるStrawは、元々リアルタイムの財(cái)務(wù)データ処理用に設(shè)計(jì)されており、控えめなハードウェアで毎秒數(shù)千のメッセージを処理できるデータフロー実裝を容易にします。

ストロー構(gòu)造コードは相互接続ノードにコードを作成します。各ノードは入力を受信し、それを処理し、結(jié)果を出力します。このモジュラー設(shè)計(jì)により、複雑な問題が簡素化され、スケーラビリティと回復(fù)力が向上します。この記事では、Twitterの消防符のマイニングでのアプリケーションをツイートデータのアプリケーションを詳述することにより、Strawの機(jī)能を示しています。 このプロセスでは、ノードを設(shè)定して、生データを摂取し、分析を?qū)g行し、リアルタイムの視覚化のためにWebSocketsを介してExpressサーバーとクライアントに結(jié)果を配布します。

ストローとヘイスタックの紹介

ストローは、それぞれが入力とゼロ以上の出力を備えたノードのトポロジを定義します。 ノードは、ユーザー定義の関數(shù)を使用して受信メッセージを処理し、接続されたノードの出力メッセージを生成します。 サンプルアプリケーションであるHayStackには、消防ホースからの生データ消費(fèi)のためのノード、分析のためのデータルーティング、および分析ノード自體が含まれます。データは、WebSocketsを介してExpressサーバーとクライアントに中継されます。 フォローするには、Haystackをローカルにインストールします。 RedisとBowerは前提條件です。 バウアーインストール：。 Haystackのクローニングとセットアップ：

npm install -g bower

Firehose Data Streamの実行

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

Twitter Firehoseにアクセスするには、Twitterアプリを作成して取得したAPI資格情報(bào)が必要です（許可のみを読む）。 [APIキー]タブから、

、

、およびconsumer_keyを取得します。 資格情報(bào)を使用して、HayStackのサンプル構(gòu)成ファイル（consumer_secret）を更新します access_token_key 2つの別々の端子を使用してhaystackを?qū)g行します。1つはStrawトポロジ（）、もう1つはExpressサーバー（）用です。視覚化にアクセスしてくださいaccess_token_secret。config.js

exports.twitter = {
  consumer_key: '{your consumer key}',
  consumer_secret: '{your consumer secret}',
  access_token_key: '{your access token key}',
  access_token_secret: '{your access token secret}'
};

node runnode server.jsわらのトポロジー（run.js）http://localhost:3000

を理解しています

わらのトポロジーを定義します。 ノードとその接続はオブジェクトで指定されています。 たとえば、

ノードはディレクトリにあります。

（入力なし）メッセージを?qū)毪筏蓼埂?

選択的なメッセージルーティングの複數(shù)の出力を示します。run.js

var topo = new straw.topology({
  'consume-firehose': {
    'node': __dirname + '/nodes/consume-firehose.js',
    'output': 'raw-tweets',
    'twitter': config.twitter
  },
  'route-tweets': {
    'node': __dirname + '/nodes/route-tweets.js',
    'input': 'raw-tweets',
    'outputs': {
      'geo': 'client-geo',
      'lang': 'lang',
      'text': 'text'
    }
  },
  // ... more nodes
});

例ノードの例（Consume-firehose.jsおよびroute-tweets.js）

nodes consume-firehoseroute-tweets：

：

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

キャッチラングノード（言語集約用）

catch-langs言語カウントを集約し、圧倒的なクライアントを避けるために定期的に合計(jì)を放出します。 setIntervalを使用して、排出を制御し、言語數(shù)の増加を制御し、変更が発生したときに合計(jì)を放出します。

Express Server（server.js）およびクライアント側(cè)の視覚化（haystack.js）

expressとsocket.io（またはsockjs）を使用して、a server.jsを使用してストローからのWebインターフェイスとストリーミングデータを提供します。 クライアントサイド（straw.tap）は、このデータを受信して??視覚化します public/js/haystack.js

結(jié)論

Haystackは、リアルタイムデータストリームのデータフロー処理を例示しています。 Strawの固有の並列性とモジュール性は、複雑なタスクを簡素化します。 ノードと視覚化を追加してヘイスタックを拡張します。

データフロープログラミングに関するよくある質(zhì)問（FAQ）

以上がストローによるデータフロープログラミングの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。