Twitter - Hadoopデータストリーミング

Question

オフライン解析のためにTwitter（ツイート）をHDFSにどのように取得するのですか？つぶやきを分析する必要があります。

Answer 1

これは問題の解決方法です。

• ツールは、Twitterのつぶやき

• Create PDF, DOC, XML and other docs from Twitter tweets
• 任意の形式でTweets to CSV files

キャプチャそれが

をキャプチャします。 （csv、txt、doc、pdf .....など）
• HDFSに入れてください。

Answer 2

私は、タスクがやや似ているので、よく発達したストリームログのハングアウトログを解決する方法を探しています。
そうする2つの既存のシステムがあります。
水路：https://github.com/cloudera/flume/wiki
そして
スクリーブ：https://github.com/facebook/scribe

だからあなたのタスクは、唯一のさえずりからデータを取得することになり、私はasumeすると、この問題の一部ではなく、これらのシステムの1つにこのログを供給します。

Answer 3

FluentdログコレクタはWebHDFSプラグインをリリースしました。このプラグインにより、ユーザーは即座にデータをHDFSにストリームすることができます。 fluent-plugin-twitterを使用しても

• Fluentd + Hadoop: Instant Big Data Collection

、あなたはそのAPIを呼び出すことによって、Twitterのストリームを収集することができます。もちろん、Fluentdにストリームを投稿するカスタムコレクタを作成することもできます。 Fluentdに対してログを投稿するRubyの例を以下に示します。

• Fluentd: Data Import from Ruby Applications