Apache Crunchの寄木細工ファイルを書く

Question

私はApacheのクランチが新しく、Apacheのクランチで寄木細工のファイルを読み書きするのを探しています。 私はドキュメンテーションとAPIに従っていましたが、同じことをするためのストレートなアプローチ/方法はありませんでした。

PCollection<String> pipeLine = MemPipeline.collectionOf("Pineapple", "Banana", "Orange"); 

PCollection<Integer> b = pipeLine.parallelDo(new DoFn<String, Integer>() { 

    private static final long serialVersionUID = 1L; 

    @Override 
    public void process(String input, Emitter<Integer> emitter) { 
     emitter.emit(input.length()); 
    } 
    }, ints()); 

    b.write(new AvroParquetFileTarget("D:\\Tutorials\\CCP_WorkSpace\\Crunch\\resources\\output")); 

ありがとうございます。

Answer 1

あなたはアブロスキーマとあなたの寄木細工のデータの同じ構造が含まれているアブロからコンパイルされたクラスを持っている場合、あなたは次のよう

AvroParquetFileSource<MyClassCompiled> avroParquetFileSource = 
new AvroParquetFileSource<MyClassCompiled>(
        new Path(input), Avros.records(MyClassCompiled.class) 
); 

でそれを読んで、この

のような寄木細工を書くことができます

Target parquetFileTarget = new AvroParquetFileTarget(outputPath); 
mypcollection.write(avroParquetFileSource);