2016-12-19 4 views
0

TwitterデータをHDFSにロードしているときにFlumeの問題を解決するための助けが必要です。Flumeを使用したTwitterデータの読み込み - プロトコルメッセージのエンドグループタグが期待されるタグと一致しません

私はHadoopの2.6 & 水路1.7バージョンを使用しています。

手順ごとにすべてを設定しました。 (https://www.eduonix.com/blog/bigdata-and-hadoop/flume-installation-and-streaming-twitter-data-using-flume/

しかし、コマンド実行中に例外が発生しています。

Caused by: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag. 
at com.google.protobuf.InvalidProtocolBufferException.invalidEndTag(InvalidProtocolBufferException.java:94) 

16/12/19 11:48:28 INFO hdfs.BucketWriter: Creating hdfs://localhost:50070/user/flume/tweet/FlumeData.1482128276941.tmp 
16/12/19 11:48:28 WARN hdfs.HDFSEventSink: HDFS IO error 
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "master/127.0.1.1"; destination host is: "localhost":50070; 
+0

誰でも問題を解決することをおすすめします。 – Himansu

答えて

0

これで解決済みです。 HDFSポートは、flume.confで設定する必要があります。代わりに問題を引き起こしていたNamenode UIポートを設定しました。

関連する問題