scalding

0熱

1答えて

fatjarでパックされ、EMR Hadoopクラスタで実行されているスケーリングジョブがあります。最近、マップ内にDynamoDB接続が必要な新機能が追加されました。しかし、すぐにマッパーがDynamoDBの初期化に達すると、それは次の例外スロー： Error in configuring object at org.apache.hadoop.util.ReflectionUtils

0熱

1答えて

YARNで管理されているZeppelinでスケーリングされたClassNotFoundException

YARNを使用している間にZeppelinでScaldingを処理しようとしています。私は、文書hereの手順に従ってインタープリタを構築し、クラスパスの上書きを設定しました。ローカルモードで実行すると、コードが正しく実行されます。私はYARNを経由して私のクラスタ上で実行した場合しかし、私の仕事はして失敗： Error: java.lang.ClassNotFoundException: cas

1熱

1答えて

Storehausでalgebird Bloom Filterを保存する

最終出力がAlgebird BloomフィルタであるSparkジョブがあります。このBloomフィルタを別のSparkジョブで再利用する必要があります。 Twitter Storehausを使用してこのブルームフィルタをkvストア（たとえば：redis）に格納し、それを他のジョブで取得する方法（algebirdブルームフィルタにデシリアライズする方法）はありますか？

0熱

1答えて

複数のマップ（）最適化のスケーリング

次の2つのコードブロックは、パフォーマンス面で同等ですか？ val input: TypedPipe[Person] = .... input .map(_.getName) .map(_.split(" ")) と... val input: TypedPipe[Person] = .... input .map(_.getName.split(" "))

0熱

2答えて

スケーリングジョブ実行中にNoSuchMethodErrorが発生する

CDH 4.5で実行中のスケーリングジョブをCDH 5.5.1にアップグレードしようとしています。ジョブはjson4sを使用してjsonデータを解析します。クラスタでジョブを実行すると、以下のエラーが表示されます。私のローカルマシンでうまく動作します。私はスカラを使用しています。2.10 &スケーリング0.15.0バージョン。ここで ERROR [main] cascading.flow.st

0熱

1答えて

scala TypedPipeスイッチの列

私はTypedPipe[(Long, Long)]という形式のvalを持っていますが、左と右の列をどうやって切り替えるのですか？より明確に、右の列の値として左の列を持つ新しいvalを作成する方法、左側に値が設定された右の列？

0熱

1答えて

代わりに、私はこのようになり火傷ジョブ持つ

タプルのリストのタプルを放出する方法：。輸入com.twitter.scaldingを{Argsの、CSV、仕事、のTextLine} class DataJob(args: Args) extends Job(args) { val input = args("input") val output = Csv(args("output"), separator = ","

2熱

2答えて

スケーリングジョブのステップを視覚化する方法

スケーリングジョブは9マップ削減ジョブ（m/rジョブ）に変換されます。各m/rジョブが表すコードの部分を理解することは容易ではありません。私の仕事をより良く理解するのに役立つものはありますか？ //これはTapadの私たちの内部wikiから貼り付けられたコピー&です。お気軽にあなたの経験を共有してください！