flume-ng

0熱

1答えて

Apache Flumeを.COMPLETEで取り込みファイルの名前を変更しないように設定する方法

10秒間隔で新しいCSVファイルを取得するAWS S3バケットが1つあります。目標はこれらのファイルをHiveに取り込むことです。これはApache Flumeを使用して、Spooling Directoryソースを使用して、着陸ディレクトリの新しいファイルを探し続け、Hiveでそれらを取り込むことです。 S3バケットと着陸ディレクトリのファイルがコピーされ、Flume接尾辞の末尾に.COMPL

0熱

1答えて

FlumeのKafkaからのEOFException

コンソールKafkaプロデューサからHadoopファイルシステム（HDFS）への簡単なデータパイプラインを設定しようとしています。私は64ビットUbuntu仮想マシンに取り組んでおり、HadoopとKafkaの両方に別々のユーザーを作成しています。 Kafkaで生産された入力を消費者コンソールで消費し、HDFSが稼働しているようです。ここで、Flumeを使用して入力をHDFSにパイプしたいとしま

0熱

2答えて

Flumeを使用したHDFS IOエラー（hadoop 2.8）

Flumeからストリームデータを取得しようとすると、以下のエラーが表示されます。私はHadoopの/共有/ Hadoopの/ に.jarファイルにそのポイントlibに/水路内のリンクを作成した私は二重のURLをチェックし、私は彼らがすべて正しいと思います。いくつかの目といくつかのフィードバックを得るための投稿の考え。ここで 2017-07-20 10:53:18,959 (SinkRunner

0熱

1答えて

apache flumeを使用してtxtファイルからログを読み取る方法

flumeを使用して継続的に成長する.txtファイルを読み取る際に問題があります。 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 などを使ってネットから何かを読むことができることを知っていますが、テキストファイルではどうしますか？ netcatの代わりに何を渡すべき

1熱

1答えて

HDFS-シンク：どのように水路によってすべてのイベントで追加されたタイムスタンプを取り除くためにHDFSファイルで

私はいくつかのファイルを持っている各行にJSONを含む [[email protected] vp_flume]# more vp_170801.txt.finished | awk '{printf("%s\n", substr($0,0,20))}' {"status":"OK","resp {"status":"OK","resp {"status":"OK","resp {"sta

0熱

1答えて

Flumeを使用したKafkaメッセージで予期しない文字が発生しました

Flume & Kafkaを使用してCSVファイルを消費し、FlumeインターセプタでJSONのイベントを変換し、Kafkaでプッシュすることで、私はKafkaに送信される前にメッセージを記録していますが、通常の有効なJSONです。しかし、カフカから同じメッセージを消費すると、シリアル化しようとするとエラーが発生し、有効なJSONではないと言っています。例えば：は確かに私は私のメッセージの先

0熱

1答えて

Apache Flumeインターセプタ - Builderをインスタンス化できません

apache flume 1.7のカスタムインターセプタを作成しました。インターセプタは、configによって定義された正規表現と一致するカフカソースからのすべてのイベントに特別なヘッダーを設定する必要があります。しかし、それは動作しません。私のJavaの知識が低すぎる、問題を解決するのを助けてください。私の設定/etc/flume-ng/conf/flume.confのパート： #######

1熱

2答えて

ソースを指定せずにFlumeのカフカチャンネルを使用する方法

私は既存のカフカのトピックとそこから読み取り、HDFSに書き込むflumeエージェントを持っています。私はflumeエージェントを再構成して、既存のセットアップから離れるようにしたい。カフカチャンネルを使用するために、カフカソース、HDFSシンクへのファイルチャンネル。これは、カフカチャンネルとHDFSシンク（水蒸気源なし）のみを使用してこれを達成することができると読んでいます（スティックの端が

-1熱

1答えて

KafkaをMySQLデータベースにストリーミングする

私はKafkaメッセージをMySQLデータベースに書きたいと思っています。 thisリンクに例があります。この例では、メッセージを消費してMySQLに書き込むために使用されるapache flumeです。私は、同じコードを使用しています私はflume-ng agentを実行し、event常にnull になり、私のflume.conf.propertiesファイルがあるとき：私が間違っている age

0熱

2答えて

カフカからHDFSへのデータフロー中に十分な空間エラーが発生しない

カフカからFlumeが管理するHDFSへのデータフローに苦労しています。以下で説明する例外のため、データがhdfsに完全に転送されません。このエラーは私たちにとって誤解を招くようですが、データディレクトリとhdfsの両方に十分なスペースがあります。私たちはそれがチャンネル設定の問題かもしれないと思っていますが、他のソースと同様の設定があり、正しく動作します。誰かがこの問題に対処しなければならな