data-ingestion

0熱

1答えて

JavaアプリケーションからBigQueryにデータを取り込みたいとします。 BigQuery APIを直接使用している場合、パフォーマンスに問題はありますか？アプリケーションはAWSで実行されています。

0熱

1答えて

SFTPサイトからCSVファイルを読み込み、Nifiを使ってmysql dbにロードしています。以下のワークフローがうまくいきます。データロードを開始する前にテーブルを切り捨てる方法を理解するには、ちょっとした助けが必要です。 Nifiフロー： ListSFTP - > FetchSFTP - > InferAvroSchema - > ConvertCSVtoAvro - > ConvertA

0熱

1答えて

は0.10.2

で働いていないバージョン0.9で働いていた仕事を接続カフカ、私は [2017-04-25 14:56:22,806] ERROR Failed to create job for ./etc/kafka-connect-jdbc/sqlserver.properties (org.apache.kafka.connect.cli.ConnectStandalone:88) [2017-04-25

0熱

1答えて

KafkaとHadoopによるデータ収集 - 品質チェックの失敗によるデータ重複の回避方法

ここでは簡略化したシナリオを示します。同じソースからの同じ生データを必要とするN個のビジネスフロー。データはKafka（通常のKafkaパイプライン）を使用して取り込まれ、HDFS上に配置され、各フローの生データに対して品質チェックの自動フローがトリガされます。すべてのNフローは、データの異なる品質基準を持つ可能性があります。たとえば、希望のスキーマに変換されたときに、生データに日付と時刻の

0熱

1答えて

RDBMS MySQLのsqoopエクスポート更新テーブルレコード

私はMySQLのRDBMSテーブルで更新を実行しようとしています。このアップデートは私のHDFSのファイルから来ているのですが、MySQLでは、レコードを更新するときにテーブルの主キーをカウントしても、結果セットには重複した値が記述されていました。キー。レコードの以下の例では、金融、値9で一度だけ思い付いたはずですが、代わりに、私はキー2と第一およびキー9 マイSqoopコードに次の二つの記録を持

1熱

2答えて

スプリングブートログを直接弾性に取り込む

私はスプリングブートアプリケーションログを弾性検索に直接送ることの可能性を検討しています。ファイルビートやログを使用せずに。私はIngestのプラグインがこれを助けるかもしれないと信じています。私の最初の考えは、TCP経由のログバックを使用してこれを行うことです。 https://github.com/logstash/logstash-logback-encoder <?xml version

0熱

1答えて

mysqlテーブルからsqoopでハイブテーブルを更新する

私はすでにロールというハイブテーブルを持っています。私はこのテーブルをmysqlから出てくる情報で更新する必要があります。だから、私はこのスクリプトを使用している、それは私のハイブテーブルに新しいデータを追加して更新することを考える： ` sqoop import --connect jdbc:mysql://nn01.itversity.com/retail_export --username

0熱

3答えて

GETメソッドを使用してGoogle BigQueryにデータをストリームしますか？

データをBigQueryにストリーム/挿入するには、Google Rest APIなどの既存のソリューションが必要です。 POSTメソッドを使用してデータを送信したくないのは、多くの設計上の理由によるものです。私は秒当たり1000秒の書き込みを期待しています。データはURLのクエリパラメータに追加されます。 Googleアナリティクスの機能と非常によく似ており、Getメソッドを使用して分析データを

1熱

1答えて

フラットファイルからのGPFdistの挿入で、 'UTF8：0x00'のエンコードに無効なバイトシーケンスが発生します

大きなフラットファイルからデータを取り込む際に問題が発生しています。私が書いている行を前処理した後、 lineACT = linecache.getline("inFile", i+j) lineNxt = linecache.getline("inFile", i+j+1) さらに： wrFile = io.open("outFile","w+",encoding='utf8') 私が使用して線