2017-05-24 5 views
0

私はドルイド0.9.1.1を使用しており、1日あたりのデータソースのすべてのセグメントを1つのセグメントにマージしようとしています。マージタスクの開始がエラーで失敗するのに対し、Apache Druidセグメントマージタスクのサブミットエラー

{"error":"Instantiation of [simple type, class io.druid.timeline.DataSegment] value failed: null (through reference chain: java.util.ArrayList[0])"} 

セグメントメタデータクエリからセグメントの詳細を取得しました。ドロー文書からのヘルプはありませんが、クエリ全体の生の構造を指定するだけで、必要なセグメントの詳細構造は指定できません(以下はドルイド文書の示唆です)。

{ 
"type": "merge", 
"id": <task_id>, 
"dataSource": <task_datasource>, 
"aggregations": <list of aggregators>, 
"segments": <JSON list of DataSegment objects to merge> 

}

例クエリ:私は同じエラーに "セグメント" キー、結果を得るために、構造の異なる形態を試みた

{ 
"type": "merge", 
"id": "envoy_merge_task", 
"dataSource": "dcap.envoy.diskmounts.kafka", 
"segments": [{"id":"dcap.sermon.threshold.kafka_2017-05-22T00:00:00.000Z_2017-05-23T00:00:00.000Z_2017-05-22T07:00:02.951Z","intervals":["2017-05-22T00:00:00.000Z/2017-05-23T00:00:00.000Z"],"columns":{},"size":5460959,"numRows":41577,"aggregators":null,"queryGranularity":null},{"id":"dcap.sermon.threshold.kafka_2017-05-22T00:00:00.000Z_2017-05-23T00:00:00.000Z_2017-05-22T07:00:02.951Z_1","intervals":["2017-05-22T00:00:00.000Z/2017-05-23T00:00:00.000Z"],"columns":{},"size":5448881,"numRows":41577,"aggregators":null,"queryGranularity":null},{"id":"dcap.sermon.threshold.kafka_2017-05-22T00:00:00.000Z_2017-05-23T00:00:00.000Z_2017-05-22T07:00:02.951Z_2","intervals":["2017-05-22T00:00:00.000Z/2017-05-23T00:00:00.000Z"],"columns":{},"size":5454452,"numRows":41571,"aggregators":null,"queryGranularity":null},{"id":"dcap.sermon.threshold.kafka_2017-05-22T00:00:00.000Z_2017-05-23T00:00:00.000Z_2017-05-22T07:00:02.951Z_3","intervals":["2017-05-22T00:00:00.000Z/2017-05-23T00:00:00.000Z"],"columns":{},"size":5456267,"numRows":41569,"aggregators":null,"queryGranularity":null}] } 

例:

"segments": [{"id":"dcap.envoy.diskmounts.kafka_2017-05-21T06:00:00.000Z_2017-05-21T07:00:00.000Z_2017-05-21T06:02:43.482Z"},{"id":"dcap.envoy.diskmounts.kafka_2017-05-21T06:00:00.000Z_2017-05-21T07:00:00.000Z_2017-05-21T06:02:43.482Z_1"},{"id":"dcap.envoy.diskmounts.kafka_2017-05-21T06:00:00.000Z_2017-05-21T07:00:00.000Z_2017-05-21T06:02:43.482Z_2"},{"id":"dcap.envoy.diskmounts.kafka_2017-05-21T06:00:00.000Z_2017-05-21T07:00:00.000Z_2017-05-21T06:02:43.482Z_3"}] 

セグメントマージ作業のための右の構造は何ですか。

+0

のメタデータを取得するには、[IndexTaskの改善](https://github.com/druid-io/druidです/プル/ 3611)..ドルイドの貢献者はそれに取り組んでいます。 – Jnana

答えて

-1

私はセグメントのために使用されるフォーマットは

"segments":[ 
     { 
      "dataSource": "wikiticker88", 
      "interval": "2015-09-12T02:00:00.000Z/2015-09-12T03:00:00.000Z", 
      "version": "2018-01-16T07:23:16.425Z", 
      "loadSpec": { 
       "type": "local", 
       "path": "/home/linux/druid-0.11.0/var/druid/segments/wikiticker88/2015-09-12T02:00:00.000Z_2015-09-12T03:00:00.000Z/2018-01-16T07:23:16.425Z/0/index.zip" 
      }, 
      "dimensions": "channel,cityName,comment,countryIsoCode,countryName,isAnonymous,isMinor,isNew,isRobot,isUnpatrolled,metroCode,namespace,page,regionIsoCode,regionName,user", 
      "metrics": "count,added,deleted,delta,user_unique", 
      "shardSpec": { 
       "type": "none" 
      }, 
      "binaryVersion": 9, 
      "size": 198267, 
      "identifier": "wikiticker88_2015-09-12T02:00:00.000Z_2015-09-12T03:00:00.000Z_2018-01-16T07:23:16.425Z" 
     }, 
] 

使用このセグメント

/druid/coordinator/v1/metadata/datasources/{dataSourceName}/segments?full 
関連する問題