2017-10-05 17 views
0

私のAzure Streaming Analyticsジョブでは、IPアドレスをジオロケーションにしようとしています。私が使用しているリファレンスは約165 MBです。参照データブロブは、100 MBそれぞれに限定されるものではdocumentation状態以下の通りである:大規模な参照データ

ストリーム解析は、パスパターンプロパティを使用して複数の参照BLOBを処理することができる100ブロブあたりMBが、ジョブの限界を有しています。

これを利用するにはどうすればよいですか?データを2つの85 MBファイル、iplookup1.csviplookup2.csvに分割しましたが、参照データ入力を取得して大きなデータセットとして取得する方法を理解できないようです。

stop-gapとして、私は2つの参照データ入力を作成し、次に両方で​​左結合を行い、nullでない値を取得しようとします。私の理解パー

答えて

0

、参照データのためにあなたは、パスパターンプロパティで(例えばproducts/products.csv)静的データを指定することができたり、あなたの参照データをリフレッシュするためにproducts/{date}/{time}/products.csvのようなこれらの変数({date}{time})の1つ以上のインスタンスを指定することができます。

シナリオに基づいて、2つの参照データ入力を作成する必要があると想定し、Union操作を利用して2つ以上のクエリの結果を1つの結果に組み合わせることができます。参照データJOINについては、hereに従うことができます。

UPDATE:

SELECT I1.propertyName, ip01.propertyName 
    FROM Input1 I1 
    JOIN iplookup1 ip01 
    ON I1.address= ip01.address 

UNION 

SELECT I1.propertyName, ip02.propertyName 
    FROM Input1 I1 
    JOIN iplookup2 ip02 
    ON I1.address= ip02.address 
+0

グレート提案!私は試してみましたが、「連合は参照データではサポートされていません」というエラーが表示されています –

+0

サンプルクエリで自分の答えを更新しました。 –

関連する問題