Apache spark jsonを分割レコードで解析する

Question

私が知る限り、Apache sparkでは、jsonファイルに1つの文字列を1つだけ格納する必要があります。私はこのようなフィールドjsonファイルで分割されています：

{"id": 123, 
"name": "Aaron", 
"city": { 
    "id" : 1, 
    "title": "Berlin" 
}} 
{"id": 125, 
"name": "Bernard", 
"city": { 
    "id" : 2, 
    "title": "Paris" 
}} 
{...many more lines 
...} 

どのように私はそれを解析することができますか？プリプロセッサが必要か、カスタムスプリッタを提供できますか？

Answer 1

スパークは、改行で分割してレコードを区別します。つまり、標準のjsonリーダーを使用する場合は、1行に1つのレコードが必要です。

あなたはこの答えのような何かを行うことによって変換することができます：https://stackoverflow.com/a/30452120/1547734

基本的な考え方は、wholeTextFilesとして読んで、それを解析し、その結果をflatmapうJSONリーダーにそれをロードすることです。

もちろん、これはファイルが十分に大きく、一度に1つずつ解析されると仮定しています。それ以外の場合は、より複雑なソリューションが必要になります。