スケーリング時の垂直パーティショニング

Question

私はTypedTipe[(String, String, Long)]を持っていますが、最初のStringは限られた数（〜10）しか取れません。私の出力を分割して、各タイプ（最初の文字列の名前を持つI.E. 10フォルダ）ごとにフォルダを作成するようにしたいと思います。これはHiveで実現するのは簡単ですが、私はScaldingでそれを行うエレガントな方法を見つけることができません。メソッドdef partition(p: T => Boolean): (TypedPipe[T], TypedPipe[T])はパイプを2つに分割しますが、私が探しているものは処理しません。

EDIT

• 私は火傷v0.13.1
• を使用しています、私はあなたがして、パーティションするフィールドでグループ、あなたがしてPartitionedDelimitedSourceを使用できる場合PackedAvroSource

Answer 1

を作成する必要があります必要に応じてディレクトリ構造を記述します。例：

val pipe: TypedPipe[(String, String, Long)] = ... 
pipe 
    .groupBy(_._1) 
    .write(PartitionedDelimited[String, (String, String, Long)](args("output"), "%s"))