etl

2熱

1答えて

以下のAWS Glue用の簡単なスクリプトがあります。私は空のセルとNULL値を受け入れるテーブルを持つテキストファイルを持っています。グルージョブを実行すると、「NullTypeをREDSHIFTに保存する方法がわからない」例外が発生して失敗します。 RedShift via Glueでサポートされていない、またはNULLインサートですか？ジョブスクリプト： import sys from

-4熱

1答えて

RまたはPythonのVlookup

手作業で入力された数千の製品コードを、実際の製品コードにマップする必要があります。問題は、製品コードを入力する際に大量のデータ入力エラーが発生することです。ここで、私はすべての手入力型の製品コードを取り、それを会社が指定した実際の製品コードにマッピングする必要があります。（P.S私のデータベースに約50万行あり、実際の製品コードリストは約3000です。）例：製品コード123-Aの製品があ

0熱

1答えて

メール添付ファイルを抽出してターゲットフォルダに移動

私の顧客は、Outlookメール経由でExcelデータファイル（.xlsx）を送信します。そして、私はこの添付ファイルを抽出し、それを「ネットワーク」上のフォルダに入れて処理したいと思っています。私はこのプロセスにPentahoを使いたいと思っています。メールが来る - >添付ファイルを抽出 - >メールを抽出するためのPentahoのステップ「電子メールメッセージの入力」を使用した後に、今す

0熱

2答えて

タスクを実行するためのETLツールの提案

私はいくつかのデータを抽出し、それをcsvファイルに保存するpythonスクリプトを持っています。今、このファイルをAzure SQL DBにロードする必要があります。誰かがこれを自動化して比較するのに適したETLツールを提案できますか？

0熱

2答えて

ExcelファイルをCSVに変換してからSSISを使用してSQLテーブルにロード

SQLテーブルにロードするExcelデータが非常に大きいです。小さいデータの場合は動作します。しかし、大量のデータ（2千万レコード以上）の場合、私は次のエラーを受け取ります。 Excel to CSV : There were errors during task validation. Excel to CSV Error: "Excel Source" failed validation an

1熱

2答えて

SSISは* .csvファイルがフォルダに存在するかどうかをチェックします

私はSSISを初めて使い、Googleの力で学んでいます。パッケージがありますが、実行する前に、フォルダにcsvが存在するかどうかを確認する必要があります。そうであれば、続行し、そうでなければ停止します。私は以下のようなあなたチューブビデオを見てきました： https://www.youtube.com/watch?v=qgqyQm6EymU が、特定のファイルについては、この唯一のchekcs

2熱

2答えて

単純なVBスクリプトで問題が発生する

次のVBスクリプトを実行して、SSISパッケージに新しいディレクトリを作成する際に問題が発生しています。次の新しいパスD：\ customers \ documents \ orders \ 20171205を作成する必要があります。 Public Sub Main() 'set dir path Dts.Variables("var_DirPath").Value =

2熱

2答えて

AWS Glueのパフォーマンスを改善するには？

私はAWSで25分以上かかる簡単な仕事をしています。私はDPUの数を10から100に変更しましたが、最大でも13分かかります。パフォーマンスを改善するための他の提案はありますか？

3熱

1答えて

テキスト修飾子がまだCSVアップロードでコンマを正しく囲まない

SQL Serverデータベースに毎晩ロードする必要があるCSVのバッチがあります。フィールドの1つにコンマが入っています。これに対処するために、私は二重引用符をテキスト修飾子として使用します。ここではサンプル値は、次のとおりです。 "97% COTTON, 3% SPANDEX/18 GG/32S/1JC,32S/1JC+40DSP YD/60.0 IN/0.0 G/M2/PIECE DYE"

-2熱

3答えて

SSISフラットファイルの列デリミタ

処理してデータベースにインポートするcsvファイルがあります。問題は、区切り文字は "にする必要があるが、現在のデフォルトのオプションがあるようSSIS内で可能これである： - 。