Datenflow -Programmierung mit Stroh

DataFlow-Programmierung, ein klassisches Computermodell, erlebt dank des Anstiegs der Echtzeitdienste im Webmaßstab eine Wiederbelebung. Seine inhärente Einfachheit, Skalierbarkeit und Ressourceneffizienz machen es ideal für zahlreiche technische Herausforderungen. Straw, ein Node.js-Framework, erleichtert die Datenflow-Implementierung, die ursprünglich für die Verarbeitung von Finanzdaten in Echtzeit ausgelegt ist und in der Lage ist, Tausende von Nachrichten pro Sekunde auf bescheidener Hardware zu bearbeiten.

Strohstrukturen Code in miteinander verbundene Knoten: Jeder Knoten empfängt Eingaben, verarbeitet sie und gibt Ergebnisse aus. Dieses modulare Design vereinfacht komplexe Probleme und verbessert die Skalierbarkeit und Belastbarkeit. Dieser Artikel zeigt Straws Funktionen, indem er seine Anwendung in der Firehose von Mining Twitter für Tweet -Daten beschreibt. Mit dem Prozess werden Knoten eingerichtet, um Rohdaten aufzunehmen, Analysen durchzuführen und Ergebnisse über WebSockets für Echtzeitvisualisierungen an einen Express-Server und Clients zu verteilen.

Einführung in Stroh und Heuheuel

Stroh definiert eine Topologie von Knoten, jeweils mit Eingang und Null oder mehr Ausgängen. Knoten verarbeiten eingehende Nachrichten mit benutzerdefinierten Funktionen und generieren Ausgabenachrichten für verbundene Knoten. Die Beispielanwendung, Haystack, umfasst Knoten für den Rohdatenverbrauch aus dem Firehose, Datenrouting für die Analyse und Analyseknoten selbst. Daten werden dann über WebSockets an einen Express -Server und Clients weitergeleitet. Um mitzumachen, installieren Sie Haystack lokal. Redis und Bower sind Voraussetzungen. Bower -Installation: npm install -g bower. Heuhaufen Klonen und Setup:

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

Ausführen des Firehose -Datenstroms

Zugriff auf das Twitter Firehose erfordert, dass API -Anmeldeinformationen erhalten werden, indem eine Twitter -App erstellt wird (nur Lesen Sie die Berechtigungen). Ermitteln Sie die consumer_key, consumer_secret, access_token_key und access_token_secret von der Registerkarte API -Tasten. Aktualisieren Sie die Beispielkonfigurationsdatei von Haystack (config.js) mit Ihren Anmeldeinformationen:

exports.twitter = {
  consumer_key: '{your consumer key}',
  consumer_secret: '{your consumer secret}',
  access_token_key: '{your access token key}',
  access_token_secret: '{your access token secret}'
};

Haystack mit zwei separaten Terminals ausführen: einen für die Strohtopologie (node run) und eine für den Express -Server (node server.js). Greifen Sie auf die Visualisierung bei http://localhost:3000.

zugreifen

Verständnis der Strohtopologie (run.js)

run.js definiert die Strohtopologie. Knoten und ihre Verbindungen werden in einem Objekt angegeben. Zum Beispiel:

var topo = new straw.topology({
  'consume-firehose': {
    'node': __dirname + '/nodes/consume-firehose.js',
    'output': 'raw-tweets',
    'twitter': config.twitter
  },
  'route-tweets': {
    'node': __dirname + '/nodes/route-tweets.js',
    'input': 'raw-tweets',
    'outputs': {
      'geo': 'client-geo',
      'lang': 'lang',
      'text': 'text'
    }
  },
  // ... more nodes
});

Knoten befinden sich im Verzeichnis nodes. consume-firehose (keine Eingabe) führt Nachrichten ein; route-tweets zeigt mehrere Ausgänge für die selektive Nachrichtenrouting.

Beispielknoten (conseum-firehose.js und Route-tweets.js)

consume-firehose.js:

// nodes/consume-firehose.js
var straw = require('straw');
var Twitter = require('twitter');

module.exports = straw.node.extend({
  initialize: function(opts, done) {
    this.twit = new Twitter(opts.twitter);
    process.nextTick(done);
  },
  run: function(done) {
    var self = this;
    this.twit.stream('statuses/sample', function(stream) {
      stream.on('data', function(data) {
        self.output(data);
      });
    });
    done(false);
  }
});

route-tweets.js:

git clone https://github.com/simonswain/haystack
cd haystack
npm install
bower install

Der Catch-Langs-Knoten (für die Sprachaggregation)

catch-langs aggregiert die Sprachzählungen und senden regelmäßig Summen, um überwältigende Kunden zu vermeiden. Es verwendet setInterval, um die Emission zu steuern, die Sprachzahlen zu erhöhen und Summen zu emittieren, wenn Änderungen auftreten.

Der Express-Server (Server.js) und Client-Seiten-Visualisierung (Haystack.js)

server.js verwendet Express und Socket.io (oder SockJs), um die Webschnittstelle und Streamdaten aus Stroh mithilfe eines straw.tap zu streamen. Die clientseitige (public/js/haystack.js) empfängt und visualisiert diese Daten.

Schlussfolgerung

Haystack veranschaulicht die Datenflow-Verarbeitung für Echtzeitdatenströme. Strohs inhärente Parallelität und Modularität vereinfachen komplexe Aufgaben. Erweitern Sie den Haystack, indem Sie Knoten und Visualisierungen hinzufügen.

häufig gestellte Fragen (FAQs) zur DataFlow-Programmierung (Dieser Abschnitt bleibt weitgehend unverändert gegenüber der Eingabe, da es sich um einen in sich geschlossenen FAQ-Abschnitt handelt.) Die bereitgestellten FAQs sind umfassend und gut geschrieben und Don '. t erfordert eine Änderung für die Zwecke dieses Umschreibens.

Das obige ist der detaillierte Inhalt vonDatenflow -Programmierung mit Stroh. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!