特定のパッケージで実行するようにSBBコンソールpasteコマンドに何らかの可能性があるかどうか不思議です。異なるパッケージから実行されるSbtコンソール
これまでのところ、私は:paste -rawを使用していることを読んだが、そのトリックはしなかった。
私の問題は、sparksプライベートAPIで内部的にしか使用できないデフォルトの書き込み可能なパラメータであるsparksをうまく使用しているためです。カスタム見積もりをsparks名前空間に配置することを選択しました。これはローカルで実行するとうまく動作しますが、organizing.apache.spark.mlにある見積もりを実行できないため、scala replの偉大なインタラクティブな体験は破壊されます。
1つのオプションは、見積もりを取ることです。sbt assemblyそれをjarファイルに変換し、sparkシェルを実行するかspark-submitで実行するときにそのjarファイルをアップロードします。スパーク名前空間を使用する必要がある理由はありますか？自分の名前空間を使用してみませんか？
私が概説したように、Apache Spark 2.02（現行バージョン）は、パイプライン/見積もりのシリアライゼーションのためのすばらしいヘルパーメソッドをすべてオープンしていません。スパークの 'DefaultParamsWriter'は非常にきれいです。 'sbt package/assembly'はオプションですが、nice/interactiveではありません。 –
何かが間違っている、あなたが正当な方法で望むものを達成するためのより良い方法でなければならない、あなたは本質的にスパークの内部をハッキングし、スパークは改ざんされたくない。 – TheM00s3
'-raw'はscala 2.10ではなく、2.11+のみです。 –
私は '：pate -raw'が正しいと思います。あなたがそれを試みるときにどんなエラーがありますか？ – marios
実際には2.11私によく合っています。 –