Sqoopでトランザクション分離レベル設定の動作を変更する

現在、Sqoopを使用してHadoopからAzure SQLデータウェアハウスにデータを取り込み、トランザクション分離レベルに関連するエラーを取得しようとしています。現在、Azure SQLデータウェアハウスではサポートされていませんが、Sqoopはインポート/エクスポートを試みている間にトランザクション分離レベルをREAD COMMITTEDに設定しようとしています。私はSqoopの--relaxed-isolationパラメータを使ってみましたが効果はありません。 1. Sqoopのソースコードを変更して、トランザクションレベルを設定しないようにSqoopの動作を変更してください。 2.このSqoopの動作をプログラム的に変更できるAPIがあれば探してください。Sqoopでトランザクション分離レベル設定の動作を変更する

誰もこのようなシナリオに遭遇しましたか？提案されたソリューションの提案とその解決方法を探してください。

出典

2016-12-14 Irfan Elahi

私はSqoopであなたを助けることはできませんが、あなたがするポリ塩基を使用して検討していますデータをHadoopからAzure SQLデータウェアハウス（ADW）に移動しますか？これは、その主な使用例の1つであり、ADWへの高性能なデータロードに対するMicrosoftの推奨事項です。 – wBob

私たちはPolybaseを潜在的な選択肢と考えていましたが、特定のセキュリティ上の問題のために、私たちはセキュリティチームからそれを私たちのコンテキストで使用することを推奨しませんでした。 –

この問題は、単にSqoopで解決されています：https://issues.apache.org/jira/browse/SQOOP-2349

それ以外の場合は、ポリ塩基は間違いなくベストプラクティスである使用についてwBobさんのコメント：@https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-sql-data-warehouse-connector#use-polybase-to-load-data-into-azure-sql-data-warehouse

出典

2016-12-14 10:59:48

参考にしていただきありがとうございます。ただし、この問題はメタデータクエリでのみ解決されていますが、すべてのタイプのクエリでは解決されていないと思います。私はSqoopのインポート/エクスポートはこの新しいパッチではまだ動作しないと思います。 –

Sqoopでトランザクション分離レベル設定の動作を変更する

答えて

関連する問題