HiveはEMRの分散キャッシュからファイルを見つけることができません

Question

私はHiveでUDFを実行しようとしています。これは基本的に別の引数としてtableの値を使用して外部csvファイルをスキャンする必要があります。私が使用 クエリ：

add jar s3://bucket_name/udf/hiveudf.jar; 
add FILE hdfs:///myfile/myfile.csv; 
CREATE TEMPORARY FUNCTION MyFunc AS '....udf.myUDF'; 
SELECT mydate, record_id, value, MyFunc('myfile.csv',value) from my_table; 

結果は不安定であり、いくつかのケースでは正確に同じクエリがうまく動作しますが、症例の約80％で、それは例外を返します：

java.io.FileNotFoundException: myfile.csv (No such file or directory) 
    at java.io.FileInputStream.open(Native Method) 
    at java.io.FileInputStream.<init>(FileInputStream.java:146) 
    at java.io.FileInputStream.<init>(FileInputStream.java:101) 
    at java.io.FileReader.<init>(FileReader.java:58) 

...

ファイルが分散キャッシュに追加されているようです：

hive> list files; 
/mnt/tmp/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx_resources/myfile.csv 

さまざまなインスタンスタイプと同様にEMRのリリースもあり、パターンを見つけることができなかったか、この問題を引き起こす要因が見つかりませんでした。どんなアドバイスも高く評価されます。

Answer 1

DEBUGを有効にして詳細を確認することができます。しかし、一般的には、レプリケーションが不十分なため、クラスタから予想されるHDFS分散キャッシュファイルがクラスタから削除される原因となる、EMRクラスタのサイズ変更（縮小）が発生した場合、同様の問題が発生しました。