Logstashは手動改行なしでjsonデータを解析できません

Question

私はインターネット履歴を取得するpowershellスクリプトを持っており、データをlogstashに送信したいと思います。このようになり、データを返す

function ConvertTo-logstash 
{ 

    Begin { 
     $result = "" 
    } 
    Process {    
      $result += $_ | ConvertTo-Json -Compress -Depth 1    
      $result += "`n" 
    } 
    end { 
    $result.replace("\","\\") 
    } 

} 

は：関数は、この関数にPSObjectsの配列、Iパイプを返す

{"Browser":"IE10/11","Category":"internethistory","Function":"inethistory","HostIP":"172.16.100.93","HostName":"wkst-7-2","LastVisitTime":"2016-08-01T16:27:13","Title":"","URL":"res://C:\\Windows\\system32\\mmcndmgr.dll/views.htm","User":"scrub","VisitCount":2} 
{"Browser":"IE10/11","Category":"internethistory","Function":"inethistory","HostIP":"172.16.100.93","HostName":"wkst-7-2","LastVisitTime":"2016-08-02T14:33:26","Title":"","URL":"file:///C:/Users/scrub/Desktop/privEsc.ps1","User":"scrub","VisitCount":1} 
{"Browser":"IE10/11","Category":"internethistory","Function":"inethistory","HostIP":"172.16.100.93","HostName":"wkst-7-2","LastVisitTime":"2016-08-15T10:24:38","Title":"","URL":"file:///C:/Users/scrub/Documents/template.pdf","User":"scrub","VisitCount":22} 
... 

私はこの情報をファイルに書き込み、その後、私はこのデータを送信しますソケット接続を介してログをとる。問題は、jsonが無効であり、インデックスフィールド "Category"が小文字でなければならないことを示す、このデータのログシュートです。メモ帳でファイルを開き、最初のエントリの後に改行を入れて送信すると、logstashはそれをうまく処理します。私はメモ帳に改行を入れてはやっていたことを変更、ない運があったよう

$result += "`r`n" 

に

$result += "`n" 

を変えてみました。 Logstashはなぜこのデータを何の理由もないとしているのですか？

編集：改行の追加は関係ありません。メモ帳で開いて変更せずに保存するだけで、エラーを修正するようです。現在のところ、ファイルのバイナリを調べてその違いを見いだしています。

Answer 1

あなたが収集しているデータは持っていないことを確認しますその中のnullバイト。 Logstashは、nullバイトが入っているエントリで何をすべきか分かりません。メモ帳はnullバイトをスペースとして解釈し、保存するとnullバイトをスペースで置き換えます。これが問題であれば、変更しないでメモ帳に保存するだけで効果が出る理由を説明します。

乾杯！

Answer 2

リダイレクト演算子（>、>>）のデフォルトは "Unicode"エンコーディング形式（UTF16-LE）です - 私が知る限り、logstashは入力ASCIIまたはUTF8エンコードを想定しています。

代わりに使用Set-ContentまたはOut-File、両方Encodingパラメータをサポート：

Get-InetHistory |ConvertTo-Logstash |Out-File internethistory.log -Encoding UTF8 

（またはそれが失敗した場合）を

Get-InetHistory |ConvertTo-Logstash |Out-File internethistory.log -Encoding ASCII