etl

3熱

2答えて

完全なPostgreSQL newb。私は、異なるデータベースのdb2（スキーマ？）と一致するスキーマ（スキーマ？）を持つテーブルにコピーする必要があるdb1の7-8ビュー分のデータを持っています。接続先データベースは、PostgreSQLの同じインスタンスでも、別のボックスにあるデータベースでも構いません。私はよく知っているデータベースでこれを達成するために2〜3の異なる方法を知っていますが

0熱

1答えて

Power Transfer for Sybase？ - OracleからSybaseへデータを移動しようとしています

OracleからSybaseにデータを移動する必要があります。私はスキーマの移動に成功しましたが、Sybaseのホワイトペーパーの1つにPower Transferツールを使用するよう指摘しましたが、Sybaseのサイトでは見つけることができません。ホワイトペーパーは2000年にもう少し古いもので、2006年には2番目のものなので、SybaseがPower Transferの名前を変更したのか、こ

7熱

3答えて

オープンソースのETLフレームワーク

2つのETLフレームワークのプロトタイプ作成を依頼されました。次のような要件は以下のとおりです。維持さログが（あると便利）、WebブラウザのPerl、Pythonで書かれ上で閲覧することができますLinuxのに利用可能なオープンソース、RubyやJavaの RAWファイルは何もすることができ（エクセル、CSV、HTMLページなど。）ターゲット・データベースがMySQLのです。いけな

0熱

2答えて

OWBのインデックスの読み込みに負の影響を与える

データをテーブルに格納するためのマッピングが終了するまで待つのではなく、パフォーマンスが向上するため、データをOWBマッピングのテーブルにステージングすることがよくあります。 JOINERのWHERE句と一致するように、これらのステージングテーブルにいくつかのインデックスを追加して、さらに処理を高速化しようとしました。しかし、私は自分自身を足で撃っていますか？これらの中間テーブルのインデックスは、

0熱

2答えて

大規模なデータセットを外部と交換するための適切なフォーマットですか？

私の仕事では、さまざまなソースから頻繁に大きなデータセットを送受信しています。私が尋ねられるよくある質問は、「データのフォーマットは何ですか？」です。私は通常、TSV、CSVまたはXML形式のデータを要求します。私はこれらをMS SQLベースの環境に簡単にインポートすることができます。私の主な考慮事項が1）インポートの容易さ2）データの整合性と3）サイズ（ディスク上のもの）がもっと理想的なフォ

0熱

1答えて

SSISフラットファイル出力が必要2カラムヘッダーが同じ

SSISフラットファイルの宛先を使用しようとしていますが、出力ファイルに同じ名前の2つの列があることを回避することはできません。私は列ヘッダーを持つために、出力ファイルの要件を持っている： first1, last1, email, shortname, email 私は、ソースデータをマップしようとするたびに、私は "「この列名がすでに存在している」ようなことを言って、エラーメッセージを取

2熱

1答えて

gnuはデータ処理の依存関係を作成します

GNU Make 3.81を使用してETLシステムを設定しようとしています。アイデアは、ソースデータを変更した後に必要なものだけを変換してロードすることです。私のプロジェクトのディレクトリのレイアウトは次のようになります。マイ$ {TRANSFORM_SCRIPTSは}/Makefileには、このようなステートメントで満たされている ${SCRIPTS}/ <- transform & loa

2熱

1答えて

XMLコード分析

ETL（Informatica）に実装されたフローのソースコードであるxmlファイルがいくつかありました。私は、そのXMLを分析してレポートを生成するソリューションを構築する必要があります。目標は自宅で作成した開発基準が尊重されていたかどうかを確認することです。私はDTDまたはXSD問題におけるXMLの検証を気にしない（方法によっては、XMLファイルが有効であり、解析することができる）が、私

7熱

2答えて

SQL ETLスクリプトとSPROCの自動テストはどのように行うべきですか？

多くの従来のPervasiveデータベース - > SQL Server 2k8 R2からデータを抽出 - 変換 - ロードする多数のDTSXパッケージがあります。この不正な形式に対処するためですレガシーデータはひどく混乱&最も頻繁に構成されている私たちのETLプロセスのT-SQLスクリプトの大半、我々はETLスクリプトに加える微調整&変化（ODBC経由）データ。私たちがしたいのですがどのよう

1熱

2答えて

SSISディメンションを使用する推論メンバーの問題SCDコンポーネント

私はSSISディメンションマージSCDコンポーネント（http://dimensionmergescd.codeplex.com/）を使用しており、SCD1とSCD 2の両方で構成されている状況があります列。 InferredMemberフラグが設定されている行がありますが、コンポーネントは新しい行を挿入し、既存の推定行の現在のフラグをリセットしませんでした。他の誰もこのコンポーネントを使用して