flume-ng

0熱

1答えて

2つのUbuntu VM間でテキストファイルの内容を転送するApache Flumeプログラム/セットアップ

Apache Flumeのプロトタイプ作成中です。私の仕事は、VirtualBoxを使ってセットアップした2つのUbuntu VM間でテキストファイルの内容を転送することです。私はFlumeの知識はほとんど持っていませんが、私は彼らの文書を見てきました。 VirtualBoxを使用して、内部ネットワークを作成することができ、2つのVMが互いにpingを正常に実行できました。私も示すように、水路を

0熱

1答えて

水路実行エラー

基本的なレベルのnetcatプログラムエラーをうまくしようとすると：はこれを解決するためのアイデアを持っていないメインクラスorg.apache.flume.node.Applicationに見つけるかロードできませんでしたか？長い間立ち往生して...これについて助けが必要ですか？水路のバージョン - 1.4.0 Javaのバージョン - 1.7

1熱

1答えて

flume stream to mysql

私は、APACHE KAFKAとFLUMEを使用してMySQLデータベースにデータをストリーミングしようとしています。私はHadoopのか、HBaseの（ロガータイプやHDFS型）にデータをストリーミングする方法を知っている agent.sources=kafkaSrc agent.channels=channel1 agent.sinks=jdbcSink agent.channels.

2熱

1答えて

Flume twitterストリームをpythonでスパークするためにUTF-8エンコーディングエラーが発生しました

Flumeエージェントによって収集されたTwitterデータをSpark Streamに渡す際に問題が発生しました。 Flumeを使用している間だけ独立してtwitsをダウンロードできます。しかし、私は次のエラーが発生しています。私はFlumeUtils.createStream（）でデフォルトのUTF-8エンコーディングに関する問題だと感じています。どうすれば変更できますか？そして私は何を変える

0熱

1答えて

Flume Hiveシンクで配列のJSONをシリアライズできませんでした

ハイブにシンクでJSONデータをロードしようとしています。しかし、それは次のエラーで失敗します。データの WARN org.apache.hive.hcatalog.data.JsonSerDe: Error [java.io.IOException: Field name expected] parsing json text [{"id": "12345", "url": "https://

0熱

1答えて

HttfsへのHttp-source flumeが機能していません。投稿要求のステータスコードは400ですか？

flumeエージェントのhttp-sourceを設定しているとき、私はポート8989を使いました。エージェントはうまく始まりますが、POSTリクエストをすると、status_code 400が得られ、status_code要求が400になります。投稿要求に間違ったデータを渡します。なぜ私はデータの種類が渡す必要があるのか分かりますか？また、私はgetの任意のデータを渡すいけない。それでもステー

1熱

2答えて

org.apache.kafka.common.errors.RecordTooLargeException Flume Kafka Sink

私はJMSソースからデータを読み込み、KAFKAトピックにプッシュすることを試みていますが、数時間後にKAFKAトピックへのプッシュの頻度がほぼゼロであり、いくつかの初期分析の後、私はFLUMEログで例外を見つけました。 28 Feb 2017 16:35:44,758 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apach

0熱

1答えて

flume to gz files

フォルダにはgzipファイルがたくさんあります。各gzipファイルにはxmlファイルが含まれています。私はflumeを使用してファイルをHDFSにストリーミングしました。私はHDFSにファイルをストリーミングした後、私は次のコードを使用して、それを読むためにスパークを使用し、 agent1.sources = src agent1.channels = ch agent1.sinks = si

0熱

1答えて

Apache Flumeでbzip2ファイルを取得する

圧縮ファイルをbzip2で取り込む必要があります。 flumeを使用することは可能ですか？私はスプーリングディレクトリとBlobDeserializerで試してみましたが、シンクでは判読できません。ありがとうございます！

0熱

1答えて

Twitter Flumeデータが可読形式でない

私のtwitterデータは可読形式ではありません。私は、ハイブテーブルを使って読むことを試みているflumeを使ってtwitterデータを取り出しました。しかし、私はhdfsで適切なデータを見ることができません。詳細は以下のとおりです。 flume-env.sh - export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera FLUME_CLASSPATH="