Apacheドリルのカスタムストレージプラグインの書き方

私は適切なフォーマットのデータを持っていますが、Apacheドリルでサポートされているものはありません。このようなデータを処理する独自のストレージプラグインを作成する方法に関するチュートリアルはありますか。Apacheドリルのカスタムストレージプラグインの書き方

出典

2016-05-31 sushil

ですか？はいの場合は、プラグインを定義できます。これ以外の場合は、そのプラグインのコードを記述する必要があります。 –

私たちが行っているRDBMSではなく、そのデータセットの上に言語のようなSQLをサポートするツールがあります。 – sushil

これは実際にはドキュメント内にあるはずのものですが、現在はそうではありません。インターフェイスはあまり複雑ではありませんが、既存のプラグインの1つを見て、進行中のすべてを理解するのはちょっとだけです。

ストレージプラグインの作成には、クエリプランナとスキーマ管理システムに情報を公開し、実際にデータソースAPIからドリルレコード表現への変換を実装する2つの主要コンポーネントがあります。

最近、Kuduプラグインが追加されました。ドリルが利用できる多くの要素を持つストレージシステムにとって、合理的なモデルです。私が注意しておきたいのは、ストレージシステムが配布されておらず、すべてのリモートリードを作成するだけであれば、グループスキャンのアフィニティ/ワークリスト/割り当てに関する多くの作業を行う必要がないということです。私はしばらく時間があれば、インタフェースのさまざまな部分にドキュメントを書き、既存のプラグインの1つについてチュートリアルを書こうとします。それは、RDBMSのいくつかの種類

https://github.com/apache/drill/tree/master/contrib/storage-kudu/src/main/java/org/apache/drill/exec/store/kudu

出典

2016-06-05 20:25:10 jaltekruse

これは私が探していた正確な情報です。私はHivaストレージプラグインを使いこなし、複雑すぎることが分かった。私はフォローアップの質問があります。エンドワーカーノードで実際のクエリを実行するためのプラグイン/モジュールを実際に作成する作業の量。私は単にレコードを読んで提供するのではなく、ドリルの実行計画を立てて実行したいと思っています。 – sushil

@jaltekruse、ストレージプラグインもビルドしたいと思っています。これについてのチュートリアルはありがたいです。ドキュメンテーションに関するニュースはありますか？ –

チュートリアルを書く時間がありましたか？ :) –

Apacheドリルのカスタムストレージプラグインの書き方

答えて

関連する問題