flume-twitter

0熱

1答えて

実行エラー、org.apache.hadoop.hive.ql.exec.DDLTaskの戻りコード1を返します。 serdeを検証できません：org.apache.hadoop.hive.serde2.avro.AvroSerde

avro serdeを使用して、ハイブテーブルを作成してツイッターデータを保存しています。ここで私は、私はすでに地元とHDFSの両方のファイルシステムで tblproperties('avro.schema.url'='hdfs:///user/itelligence/ee/TwitterDataAvroSchema.avsc'); tblproperties('avro.schema.url

0熱

1答えて

flumeエージェント間の並行性を管理する方法。

私はビッグデータプロジェクトに取り組んでいます。私たちはflumeを使ってsftpからHDFSにファイルをダウンロードしています。次に、3つのエージェントを構成しました。彼らは同じソースから読んだ。結果として、私たちはHDFSに3つの重複ファイルを取得しますが、これはうまくいかないでしょう。一方、ファイルは1つだけ必要です。しかし、処理されたファイルのトレーサビリティを維持し、エージェント間の並

0熱

1答えて

Flumeは、Twitterのストリームのキーワードを受け付けていません

ここでは、このチュートリアルを使用してHadoop新生児を紹介します：https://acadgild.com/blog/streaming-twitter-data-using-flume/ツイートをキャプチャします。それは、ツイートをストリーム TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel Twitter

0熱

1答えて

Twitter Flumeデータが可読形式でない

私のtwitterデータは可読形式ではありません。私は、ハイブテーブルを使って読むことを試みているflumeを使ってtwitterデータを取り出しました。しかし、私はhdfsで適切なデータを見ることができません。詳細は以下のとおりです。 flume-env.sh - export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera FLUME_CLASSPATH="

0熱

1答えて

は**水路

を通じてストリーミングツイッターでエラーになって、私はまだ使用、flume.env.shでクラスパスと一緒に.bashrcの中ENVIの変数を変更しようとしたんPicked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar 16/12/08 01:57:11 INFO node.PollingPropertiesFil

0熱

1答えて

Flumeを使用したTwitterデータの読み込み - プロトコルメッセージのエンドグループタグが期待されるタグと一致しません

TwitterデータをHDFSにロードしているときにFlumeの問題を解決するための助けが必要です。私はHadoopの2.6 & 水路1.7バージョンを使用しています。手順ごとにすべてを設定しました。（https://www.eduonix.com/blog/bigdata-and-hadoop/flume-installation-and-streaming-twitter-data-us

0熱

1答えて

Flume Twitterストリーミングの問題

私はFlume 1.6.0-cdh5.9.1をTwitterのソースを使用してストリームしています。設定ファイルは以下の通りです：今 <dependencies>  <dependency> <groupId>org.twitter4j</groupId> <artifactId>twitter4

0熱

1答えて

flumeでツイッターを設定するには

私はFlumeセットアップビデオを通り、あなたが送ったストリーミングtwitterデータのthis linkに続いています。私は次の問題に直面しています： "conf/flume-env.sh.template" - > "flume-env.sh"テンプレートは提供されたリンクから利用できません。親切なことに、私が何か間違っているか、正しい手順を送っているを見つけるのを手助けします。これ

0熱

1答えて

Flumeを使用してTwitterデータを取得できない

私はhadoopのFlumeを使用してTwitterデータを取得していました。登録が正常に行われていますが、最終的に無効なURIまたはユーザdoesnotのメッセージを表示し続けます。この。ありがとうございます。私は以下のconfを使用しています。 TwitterAgent.sources= Twitter TwitterAgent.channels= MemChannel Twitter

2熱

1答えて

Flume twitterストリームをpythonでスパークするためにUTF-8エンコーディングエラーが発生しました

Flumeエージェントによって収集されたTwitterデータをSpark Streamに渡す際に問題が発生しました。 Flumeを使用している間だけ独立してtwitsをダウンロードできます。しかし、私は次のエラーが発生しています。私はFlumeUtils.createStream（）でデフォルトのUTF-8エンコーディングに関する問題だと感じています。どうすれば変更できますか？そして私は何を変える