2017-03-24 6 views
0

ここに記載されている指示に従っています:http://druid.io/docs/0.9.2/ingestion/batch-ingestion.html( "InputSpec specification"までスクロールしてください。DruidバッチインデックスinputSpecタイプの粒度、「ジョブに入力パスが指定されていません」のエラー

私は私の割り出し作業JSONでであります。

"inputSpec": { 
    "type": "granularity", 
    "dataGranularity": "DAY", 
    "inputPath": "hdfs://hadoop:9000/druid/events/interview", 
    "filePattern": ".*", 
    "pathFormat": "'y'=yyyy/'m'=MM/'d'=dd" 
} 

私はすでに私のファイルは、このようにHDFSに整理している(私は私の中で「粒度」タイプを使用しているだろうと考えて、それを目的にしていましたインデックス作成タスク):私はこのエラーを取得しておく

enter image description here

インデックス中(失敗):

Caused by: java.io.IOException: No input paths specified in job 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:231) ~[?:?] 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:340) ~[?:?] 
    at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:493) ~[?:?] 
    at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:510) ~[?:?] 
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:394) ~[?:?] 
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285) ~[?:?] 

はそれをGoogleで、2つのページに同じ問題について話しました:

は両方ともに "filePattern" の値を設定言及し、 "*。"。それは、運がなかったか。 THA私のドルイド、Hadoopのリンク作品を確認するために

、私は静的に私のinputSpecを変えてみました:

"inputSpec": { 
    "type": "static", 
    "paths": "hdfs://hadoop:9000/druid/events/interview/y=2016/m=11/d=06/event.json,hdfs://hadoop:9000/druid/events/interview/y=2016/m=11/d=07/event.json" 
} 

それは動作します。だから私のドルイドとハドープには問題ありません。

ドルイド(私は0.9.2を使用しています)でこの粒度inputSpecが壊れていますか?私のinputSpec(粒度タイプ1)に何か間違っているとは見えないからです。少なくとも私が読んだドキュメンテーションとフォーラムによるとは限りません。

その間に私は静的なものを使用することができます(そして、私の長いパス文字列を構築します)が、 "細かい"タイプは理想的です。

誰でも光を当てることはできますか?

ありがとうございました。

答えて

0

路パターンの末尾に/を追加してみてください: "pathFormat": " 'Y' = YYYY/'M' = MM/'D' = DD /"

関連する問題