scala

6熱

2答えて

アイデアsbt java.lang.NoClassDefFoundError：org/apache/spark/SparkConf

私はsparkの初心者です。私はSparkのクイックスタートを試してみると "linux + idea + sbt"という環境を使います。問題：私のディスクにおけるそれらの Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf at test$.main(test.sca

0熱

1答えて

SVDLIBCを使用してスパース行列を分解する方法...？

私はSVDLIBCを初めて利用しています。サンプルの疎な行列を分解しようとしましたが、ロードされていませんが、代わりにエラーがスローされます。また、前述のスパース行列のSVDLIBCの例を試しました。エラー次その投げ： [email protected]:~/Downloads/SVDLIBC$ ./svd -r st -w sth Sample Loading the matrix... C

12熱

2答えて

複数の列でデータセットを結合するにはどうすればよいですか？

考えると2スパークデータセット、AとB、私は次のように単一の列に参加することが可能です。 a.joinWith(b, $"a.col" === $"b.col", "left") 私の質問は、あなたが複数の列を使用して参加出来るかどうかです。基本的に以下のデータフレーム APIコードの同等： a.join(b, a("col") === b("col") && a("col2") === b(

3熱

1答えて

SparkでRDD行の連続する空白を削除します

多くのプログラムによるクリーンアップの後、私のデータセットはこのようになります（ここで部分的なデータセットを示しています）。 ABCD A [email protected] 79 BGDA F [email protected] 89 私はさらにスパークデータフレームの操作のために、以下の ABCD,A,[email protected],79 BGDA,

-1熱

1答えて

Apacheはクラスタモードで起動し、ジョブを実行します。マスターまたはワーカーノードでは？

私はクラスタモードでスパークをインストールしました。 1マスターと2ワーカー。そして、私がマスターノードでsparkシェルを起動すると、それはスケーラシェルを取得せずに数多く実行されています。しかし、ワーカーノードでspark-shellを実行すると、scala shellを取得しています。そして、私はそのジョブを実行することができます。 val file=sc.textFile(“hdfs:/

0熱

1答えて

同じ文字列を単一の文字列にマッチさせてリストに変換する

私はしばらくの間この作業を続けてきました。理由は、私はあなたがtoString Javaオブジェクトを取得し、私はオブジェクトにそれをシリアル化しようとしている出力を取得しています。それは単一のオブジェクトだった場合、それは簡単だろうが、私はリストを持って、私はリスト内のすべての1つをキャプチャしたい。だからオブジェクトリスト（AcquireRequest（X2、x3,146600884810

0熱

1答えて

スカラのクラスとオブジェクトを理解する

私はスカラにはとても新しいので、スカラとJavaの両方で書かれたプロジェクトに取り組まなければなりません。私はこのような構造で出会いました： class SomeType{ //... } trait Trait1 extends scala.AnyRef{ } trait Trait2 extends extends scala.AnyRef{ } class MyC

3熱

2答えて

Finatraアクセス制御の許可元

AJAX呼び出しでFinatraを使用して構築したREST APIにアクセスしようとしています。残念ながら、私は次のエラーを取得： Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested r

4熱

1答えて

ケースクラスのコンパニオンオブジェクトを非推奨にするにはどうすればよいですか？

私は、ケースクラスが推奨されない場合、そのコンパニオンオブジェクトは非推奨であることに気付きました。 scala> @deprecated case class A(x: Int) warning: there was one deprecation warning; re-run with -deprecation for details defined class A scala> A

0熱

1答えて

このバイナリ検索の実装は、常に正しく動作しますか？

以下に示すように、整数の配列を2進数でスカラーで検索するコードを記述しました。私は、バイナリ検索は実装するのが非常に難しいことを知っています。だから、私はこのコードが常に正しく動作するかどうかを知りたい。私はテスト配列に対してテストすることで試してみたところ、うまくいきました。しかし、いつもうまくいくかどうかは分かりません。メモ：アレイのサイズは、最大整数値の半分以下であるとします。あなたの仮定