Azure Data Lakeファイルシステムを理解するためにflinkを設定する方法はありますか？

Question

私はAzureデータlakeからデータを読むためにflinkを使用しています。しかし、FlinkはAzureデータLakeファイルシステムを見つけることができません。 Azureデータレイクファイルシステムを理解するためにflinkを設定する方法。誰も私をこの中で導くことができますか？

Answer 1

Flinkには、Hadoop互換ファイルシステム（つまり、org.apache.hadoop.fs.FileSystemを実装している）に接続する機能があります。説明についてはこちらを参照してください。https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html

core-site.xmlには、ADLS固有の設定を追加する必要があります。また、Flinkエージェントが実行されている間は、クラスパスにADLジャーが必要です。

これは基本的に、このブログで概説したのと同じ概念ですが、Flinkに適応しています。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4