kryo

1熱

1答えて

私は、いくつかのStringフィールドと1つのHashMapフィールドを持つJavaクラスを持っています。私はこのクラスのオブジェクトをデフォルトのKryoシリアル化でシリアル化し、HBaseに格納しています。メモリ内でそれらを読み取った後、SparkのRDDの機能でデシリアライズすると、次のエラーが発生します。同じコードセグメントがSparkに関係していない場合でも動作します。ここでは、スタッ

0熱

1答えて

Scala/Kryoがジェネリック型を取るメソッドを使ってシリアライズされたオブジェクトを読み込む方法は？

Kryoを使ってシリアライズされたオブジェクトを読むのは簡単ですが、特定のクラスの型を知っていれば簡単ですが、単純なジェネリック型のメソッドを作成するにはどうすればいいですか？私はコンパイルできないコードを持っている：私が得た def load[T](path: String): T = { val instantiator = new ScalaKryoInstantiator

3熱

2答えて

Akkaアプリケーションのデフォルトシリアライザを変更するにはどうすればよいですか？

私はkyroシリアライズの使用を考慮し、完全なアプリケーションのために、デフォルトでkyro直列化をオンにする方法があるかどうか疑問に思って、彼らはおよそserialization-bindings として serialization-bindings { "java.lang.String" = java "docs.serialization.Customer" = j

4熱

1答えて

Kryo：クラスの古いバージョンを非直列化する

2つの新しいパラメータを追加することによってクラスを変更する必要があります。このクラスはKryoとシリアライズされています。私は現在、ストリームを停止するたびに、このクラスに関連する情報、特にRDDを維持しています。ストリームを再起動すると、以前に保持した情報をロードし、停止した時点と再起動した時点の整合性を保つために使用します。クラスIはこれらの新しいパラメータを必要とするため、新しいパラ

4熱

1答えて

ProtoBufフィールドのSpark、Kryoシリアル化の問題

RDDを変換するときにprotobufフィールドのシリアル化に関するスパークジョブを実行中にエラーが発生しました。 com.esotericsoftware.kryo.KryoException：java.lang.UnsupportedOperationExceptionがシリアルトレース： otherAuthors_（com.thomsonreuters.kraken.medusa.dbor

1熱

1答えて

Twitter ChillがAndroidでクラッシュする

私はKryo + Chill（com.twitter:chill_2.11:0.8.0とScalaバージョンは2.11.8です）を試しています。次のコードはデスクトップ上で正常に動作しますが、Androidではクラッシュします。ここで case class TestDogRef(id: Int) case class TestDog(ref: TestDogRef, name: Str

-1熱

1答えて

KryoでLongMapを逆シリアル化する

私はscala.collection.mutable.LongMapタイプのクラスを持っています。 Kryoでそれをシリアル化した後、私は、オブジェクトをデシリアライズし、次の例外を取得しようとすると： com.esotericsoftware.kryo.KryoException: java.lang.IllegalArgumentException: Can not set final sca

1熱

2答えて

KryoシリアライザIllegalAccessError at runtime

Kryoシリアライザを使用して、アプリケーションオブジェクトをシリアル化してカフカストリームにプッシュしようとしています。は、シリアル化コードが private ThreadLocal<Kryo> kryos = new ThreadLocal<Kryo>() { protected Kryo initialValue() { Kryo kryo = new Kryo(

1熱

1答えて

リンクされたハッシュマップをシリアライズする

私はsparkを使ったプロジェクトでシリアライザとしてkryoシリアライザを使用し、scalaで書かれています。私は私のプロジェクトで使用するすべてのクラスを登録していますが、シリアライズされていないクラスまたはハッシュマップにリンクされていないクラスがあります。リンクハッシュマップ登録： kryo.register（scala.collection.mutable.linkedHashMap