etl

0熱

2答えて

SSISを使用して、大部分の場合はまっすぐな.txtファイルをインポートしています。インポートされるファイルには、最大1ポイントまでの列が設定されていますが、フリーテキスト/コメントフィールドがあります。これは、未知の長さに繰り返すことができます。私は理想的（SSIS内）やりたい何 "000001","J Smith","Red","Free text here" "000002","

0熱

1答えて

列の型が数値であるかどうかをテストするscriptella

hello guysはscriptaraを使用して、oracleデータベースからdaraをpostgresqlデータベースにコピーしています。私はすることができたが、1つの問題がある.iは、数値である列をコピーしたいと思いますが、私は実際に数値ではない最初のテーブルからコードを持っているかもしれません。助けて。私が何をしたか、ここで <?xml version="1.0" encoding="U

0熱

1答えて

Apache NIFI for ETL

ソースがHDFS &の宛先をOracle DBとして持つETLプロセスにApache NIFIを使用すると効果的です。

0熱

1答えて

AWS VPCでのレッドシフトへのアクセス

Redshiftインスタンス（VPC内）からAWS Glueを使用してS3バケットにETLデータを送信しようとしています。このために私はRedshiftでJDBC接続を作成しました。クローラは、Redshiftのスキーマ情報をデータカタログに正常にフェッチします。しかし、ETLジョブを実行すると、データを取得できず、「リソースが利用できません」というメッセージが表示されます。 Redshiftに

2熱

1答えて

jsonからorcへのデータ保存に関するApacheの問題点

NIFI jsontoavro-> avrotoorc-> puthdfsを使用しています。しかし、次の問題に直面している。 1）単一のORCファイルがHDFSに保存されています。私は圧縮を使用していません。 2）これらのファイルにアクセスしようとすると、バッファメモリのようなエラーが出ます。ありがとうございました。

0熱

2答えて

DBクエリの結果に基づいてストリームを続行します

私はETLを開発しています。最初のステップはテキストファイル入力で、ファイル名や最終更新日を含む "追加出力フィールド"のメタデータをストリームに追加します。私はその最後の変更日時とそのファイル名がすでに処理されたかどうかの検査DBへのクエリを作成する必要があります。その場合は、ストリームを停止して次の手順を処理しないでください。これは可能ですか？私はそれについてgoogledし、例を見つけま

1熱

1答えて

エクセルシートでetlテストケースを書く方法

ETLテストケースを書く方法を正確に知りません。以下の3つのシナリオを実行しました。 mapping.Iのためのテストケースを書きますか 1.source n target count should be same. 2.check duplicates in target 3.column mapping for source and target. 本当にhelp.pleaseが

0熱

2答えて

トランザクションを処理するTalendの正しい方法

私のETL処理でトランザクションを処理する必要があります。私はいくつかのデータをファイルから自分のデータベースにロードしています。コミットとロールバックを管理する必要があります。私のファイル内のデータに行が間違っていたり、スキーマが間違っていたりする場合は、ロールバックを行う必要があります。そうでなければ、私のdatabaeテーブルにデータを入れて変更をコミットする必要があります。だから私は仕事を

0熱

1答えて

Spark ETLからBigQueryテーブルをリセット

私はあなたに質問があります。 BigQueryにデータを読み込むDatabricksでETLを構築していて、ETLを実行する前にBigQueryテーブルを消去したい場合は、それが可能ですか？初心者の質問に申し訳ありません！ありがとう!!!

0熱

1答えて

Databricks ETL - > BigQuery、WRITE_TRUNCATEが機能しない

私はDatabricksでETLを実行してBigQueryに書き込みます。私は "WRITE_TRUNCATE"にコードを取得しようとしています、別名、データが実行されるたびに上書きします。これには、BigQueryの設定を変更する必要があります。私はたくさんのことを試みましたが、うまく動作しませんでした。ここに私の現在のコードスニペットは次のとおりです。 import com.google.c