flume-ng

0熱

1答えて

なぜflumeがHDFSにフラットファイルをアップロードするのに時間をかけるのかを確認する必要があります。私はちょうど1つのファイル（10MBのサイズ）をアップロードしようとしましたが、17時間後にまだ ".tmp"でアップロードしています。私は、ログの詳細を確認すると、それがチャンネルで立ち往生ているように、それはそうです： 11月10日、X：XX：XX.XXX PM INFO org.apac

0熱

1答えて

HTTPにヘッダを追加投稿コンテンツ

私は、HDFSを流してFlume HTTP Sourceをテストしています。以下は、使用されるconfファイルです。 httpagent.sources = httpsource httpagent.sinks = hdfs-file-sink httpagent.channels = ch3 httpagent.sources.httpsource.type = http httpag

1熱

2答えて

Apache FlumeとApache Flinkの相違点

何らかのソースからデータのストリームを読み込む必要があります（私の場合はUDPストリームですが、それは問題ではありません）、各レコードを変換してHDFSに書き込みます。 FlumeまたはFlinkこの用途には違いがありますか？カスタムインターセプターでFlumeを使用して、各イベントを変換することができます。しかし、私はFlinkで新しくなっています。私にとっては、Flinkは同じように見えま

0熱

1答えて

Apache Flumeでクロスオリジンリソース共有を有効にする

基本的にポート8080を介してFlumeサーバーに接続するWebページを開発しています。クライアントが新しい請願書を送信するたびに、403 Forbiddenエラーが発生します。HTTPソースOPTIONS要求を処理する方法を知らない CORSを有効にする方法については、Apache Flumeのドキュメントに具体的な言及はありません。

0熱

2答えて

Apache FlumeがcopyFromLocalコマンドよりも時間がかかります

ローカルファイルシステムに24GBのフォルダがあります。私の仕事は、そのフォルダをHDFSに移動することです。私はそれを2通り行った。 1）hdfs dfs -copyFromLocal/home/data// home/ この処理には約15分かかりました。 2）Flumeの使用。は、ここでこのステップは、HDFSにデータをプッシュすることはほとんど時間を要した spool_dir.source

2熱

1答えて

Flumeエージェントを停止する

私は、スプーリングディレクトリを持つFlumeエージェントをソースとして実行する必要があります。スプールディレクトリのすべてのファイルがHDFS（シンク）にコピーされた後、すべてのファイルがチャンネルにプッシュされていることを知っているので、エージェントを停止します。また、毎回異なるスプーリングディレクトリに対してこの手順を実行し、ディレクトリのすべてのファイルが.COMPLETEDとしてマーク

0熱

1答えて

Flume HDFSシンクは、netcatソースを使用して1行のデータソースしか保存しません。

Flume 1.7を使用してHDFSにデータをロードしようとしています。 # Starting with: /opt/flume/bin/flume-ng agent -n Agent -c conf -f /opt/flume/conf/test.conf # Naming the components on the current agent Agent.sources = Netcat

1熱

2答えて

Apache Flumeのインストールが有効かどうかを確認する最も簡単な方法は何ですか？

私はApache Flumeをダウンロードして抽出しました。実行準備ができているかどうかを確認するにはどうすればよいですか？

0熱

1答えて

Flume：Httpハンドラは並列スレッドに生成されますか？

FlumeのHttpソースは、Eventオブジェクトを作成してチャネルに入れるハンドラに依存します。このハンドラはいくつかのスレッドに出現しますか？入ってくるhttpメッセージごとに1つ言いましょうか？答えが「はい」の場合、プールはありますか？そのプールのサイズはどれくらいですか？答えが「いいえ」の場合、着信するhttpメッセージが順番に処理されると仮定する必要がありますか？（私はそうではなく、

0熱

1答えて

flume sinkでhdfsのガベージデータをコピーしています

ローカルパスからHDFSシンクにデータをコピーしているうちに、HDFSの場所にあるファイルにガーベジデータがあります。水路のための私のconfigファイル： # spool.conf: A single-node Flume configuration # Name the components on this agent a1.sources = s1 a1.sinks = k1 a