My Data Lake Analyticsジョブは、IExtractor
を実装するカスタム.NETアセンブリを読み込みます。この抽出機能は、たとえばテキストファイルからデータを並べ替えるだけの場合に効果的ですが、実際には入力データをHTTP経由でベンダーのリモートAPIから取得します。だから、基本的にRESTリクエストであるものを作るためにエクストラクタの実装を変更します。エラー:カスタムアセンブリから「http要求を作成できません」
と回答した場合、 Analyticsログに「httpリクエストを作成できません」というエラーが表示されます。私は、MicrosoftがAnalyticsのカスタムアセンブリ内でできることとできないことをマイクロソフトが制限していると思いますが、私は直接言及しているドキュメントには何も見つかりません。カスタムアセンブリ内でHTTP要求を行うことはできません。
だから私の質問は2つの部分である:
- Azureのデータ湖Analyticsのカスタムアセンブリ上の制限が文書化されていますか?
- 大量の静的入力ファイルが最新のデータを取得するのに邪魔にならない方法であるとわかった場合、入力データをAnalyticsジョブに引き込むより良い方法はありますか?
同様の要件があるので、Logic app、BLOBストレージに書き込むなど、良いパターンを知っていると良いでしょうか? – wBob
これは私が今やっていることです。明らかに、私はU-SQL内のソースサービスからデータを「生きている」ことができません。その次善策は、ファイル形式ですべてのデータを取得し、それをBlobまたはData Lake Storeに押し込むことです。つまり、私は「リアルタイム」の経験は得られませんが、私のアプリケーションでは大丈夫です。 – catfood