2016-11-08 14 views
0

sparkストリーミングアプリケーション(scala)でfastutillクラスを使用したいと思います。私は代わりにhashmapを使用していますが、Spark documentationsに基づいています。これらは、hashmap..fastの代わりにfastutillクラスを使用することをお勧めします。これらのクラスが価値があるかどうかを知り、次にhashmapの高速utillでequvalentクラスを知りたい。fastutilでscalaハッシュマップに相当する

Particulalry私はハッシュマップ

HashMapの[Key_Objectを使用しています、ArrayBufferは[Value_object] ..私は私はあなたがObject2ObjectOpenHashMap.javaを探しているのだと思いfastutill

答えて

1

で最高のコレクションが何であるかを知ることがwnated。一般的なhashMapクラスのように動作します。それはデフォルトのハッシュ関数が正常に動作するIMOです。

ハッシュ衝突を減らしたり、パフォーマンスを向上させたい場合は、Object2ObjectOpenCustomHashMapを使用することをお勧めします。ハッシュマップを作成するときは、コンテキスト固有のカスタムハッシュ関数を用意する必要があります。 、FastUtilがあなたのために良い仕事かもしれない他の種類がたくさんある

。なお、

+0

こんにちはhereを見つけることができます彼らのドキュメントを参照してください。答えをありがとう。私は 'spark dataframe'を' fastutils'コレクションに変換する方法を探しています。これは私の質問です:https://stackoverflow.com/questions/47004627/converting-a-dataframe-to-a-it-unimi-dsi-fastutils-objects-collection-spark-scあなたはそれに答えることができますか? –

関連する問題