apache-crunch

0熱

1答えて

Apache Crunch PTableのcollectValuesは内部的にどのように動作しますか

私は、HDFSアーキテクチャとApache crunch PTableに関連するいくつかのドキュメントを調べていました。私の理解に基づいて、PTableを生成すると、データは内部でHDFSのDataノードに格納されます。これは、<K1,V1>,<K2,V2>,<K1,V3>,<K3,V4>,<K2,V5>でPTableがあり、HDFSに2つのデータノードD1とD2があるとします。各データノード

1熱

1答えて

Apache Crunchの寄木細工ファイルを書く

私はApacheのクランチが新しく、Apacheのクランチで寄木細工のファイルを読み書きするのを探しています。私はドキュメンテーションとAPIに従っていましたが、同じことをするためのストレートなアプローチ/方法はありませんでした。 PCollection<String> pipeLine = MemPipeline.collectionOf("Pineapple", "Banana", "Ora

1熱

1答えて

"void"データ型を持つapache crunchでDoFnをどのように定義できますか？

基本的に、私はDoFnからの出力を必要としません。DoFnに入っているレコードごとにいくつかのmysql dbを更新したいだけです。だから私は空のデータ型を持つDoFnを定義することができますか？基本的に私はDoFnから何も放出したくありません。

0熱

1答えて

java.lang.NoClassDefFoundErrorが：ORG/apacheの/ Hadoopの/ HBaseの/ MapReduceの/ MultiTableInputFormat

のHadoop minicluster上のMapReduceジョブのテストを実行している間は、私はエラーを取得しています： java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/MultiTableInputFormat at org.apache.crunch.io.hbase.HBaseSourceTarget.(H

1熱

1答えて

SparkSessionインスタンスから始まるスパークアプリケーションをリンクするリンククランチスパークパイプライン

クランチパイプラインはパラメータとしてJavaスパークコンテキストを持つことができますが、スパークアプリケーションはSparkSessionインスタンスで開始します（スパークJavaプログラムにはデータセットが含まれ、sparkSQLが必要です）。このような場合、sparkアプリケーションに別の抽象レイヤー（クランチパイプライン）を追加するにはどうすればよいですか？

1熱

2答えて

Apache CrunchのPCollectionをPTableに変換する一般的な方法はありますか？

私は特定のPCollectionを特定のPTableに変換しているutilクラスにこれらのメソッドを持っています。 public static PTable<IdDetails, CASegmentsForModification> getPTableForCASegments(PCollection<CASegmentsForModification> aggregatedPCollection