圧縮されたデータをAzure Stream Analyticsに送信するには？

Question

デバイスからデータを収集し、JSON形式のデータをAzure Eventhubに送信するシステムがあります。 Azureストリーム解析ストリームがあり、イベントハブからデータを取り出してPowerBIに出力します。毎秒データを送信します。時々、インターネット接続が失われ、システムはデバイスからデータを収集し続けることがあります。インターネット接続が復旧すると、収集されたすべてのデータがeventhubに送信されます。送信前にデータを圧縮または圧縮したいと思います。

しかし、ストリーム解析入力フォーマットはJSON、CVS、またはAvroのみです。圧縮Jsonは自動的に圧縮解除されますか？あるいは、圧縮データをAzureストリーム解析に送ることはできませんか？

Answer 1

Azure Stream Analyticsは入力データの圧縮解除をサポートしていません。

おかげで、 カティIceva

Answer 2

アブロは、あなたが行の束を送信する必要がないとき（JSON）データを圧縮するための良い方法です。

よろしく、

フィリップ

Answer 3

アブロちょっと...圧縮です。ペイロードはDeflateで圧縮されます。ただし、メッセージスキーマは非圧縮形式で含まれています。場合によっては、単一イベントのスキーマがペイロードよりも大きくなることがあります。各メッセージで送信するイベントと同じタイプのイベントが多いほど、Avroから多くのメリットが得られます。

ペイロードサイズに関係する非常に少量のイベントを送信している場合は、独自の圧縮を実行し、Azure関数やWebJobなどを使用して「生の」イベントハブから引き出し、圧縮解除Stream Analyticsが聞くことができる「圧縮解除された」イベントハブに提出します。