snappydata

2熱

2答えて

配列の長さと行/列テーブルの行が持つことができる寸法の限界に関する情報を誰にでも教えてください。配列に1000個以上の要素を追加することはできません。サイズを増やす方法はありますか？ありがとうございます。

1熱

1答えて

SnappyDataは、クラスタにjarファイルを提出する方法の例を与えるパラメータで

SnappyData文書をクラスタ化するjarファイルを提出します複数回、しかし異なったパラメタで、作成されたテーブルの名前に追加する別のサフィックスを言う、どうすればいいですか？ UPDATE：より正確には、私はjarファイルを送信したとき、私は別のパラメータを使用してjarファイルを提出したいとし、このようなもの bin/snappy-job.sh submit --app-nam

0熱

2答えて

pysparkから辞書を作成する最速の方法DF

私はsqlppydataとpysparkを使ってSQLクエリを実行し、出力DFを辞書に変換してmongoに一括挿入しています。私はスパークDFの辞書への変換をテストするために、多くの同様の質問を行ってきました。現在、私はこのメソッドをbulk DFに変換するためにこのメソッドを使用しています。そして、10Kレコードで2〜3秒かかります。私は私のアイデアをimpliment方法を以下に記載しま

0熱

2答えて

SnappyData - snappy-job - jarファイルを実行できません

私はsnappydata cliからjarファイルを実行しようとしています。私は最初にsparkSessionセッションとSnappyDataセッションを作成したいだけです。 SBTファイルから package io.test import org.apache.spark.sql.{SnappySession, SparkSession} object snappyTest {

1熱

1答えて

SnappyData：SnappySessionを使用できるようにbuild.sbtとimportステートメントに入れるもの

私は、「Hello World」のようなSnappyDataアプリケーションを構築して実行したいと考えていますIntelliJ。これまでのクラスタは、ローカルマシン上に1つのロケータ、1つのリード、および1つのサーバです。私はちょうどそれに接続したい、ちょっとしたデータや、DataFrameをシリアル化し、それが動作していることを確認したい。ドキュメントは、私がこのような何かを行うことができるは

1熱

1答えて

SnappyDataスマートコネクタ - ジョブの実行方法

私はこのドキュメントを読んでいます.SnappyDataスマートコネクタのポイントを理解するのを助けてください。ドキュメントのいくつかの異なる例は、私が火花提出などを使用する方法があります：例1 ./bin/spark-submit --deploy-mode cluster --class somePackage.someClass --master spark://localhost:7

2熱

1答えて

SnappyData：組み込みクラスタにスタンドアロンスパークジョブを接続

私が達成しようとしているのは、スマートコネクタモードに似ていますが、スマートコネクタの例はSpark-Shellをベースにしているため、スタンドアロンのScalaアプリケーションを実行しようとしています。したがって、私はSpark-Shellに--conf引数を使用することはできません。私のスパークマスターを探してみると、私はSnappyDataウェブインターフェイスを調べました。私は、次を発見

1熱

1答えて

- はImportError：てきぱきと名付けられませんモジュール

でも、私は以下のコードからpyspark.sql.snappyインポートSnappyContextをインポートしようとするたびにpysparkとsnappydataを再インストールした後：私が得る from pyspark.sql.snappy import SnappyContext from pyspark.storagelevel import StorageLevel SparkCon

1熱

1答えて

複雑なデータ型（配列）をcsvからsnappydataにインポートする

私の前のquestionから、配列を挿入できる方法を知りました。今、テーブルにデータのラージ量を挿入します。このreferenceのsnappydataから、テーブルに大量のデータをインポートすることができました。しかし、Arrayのような複雑なデータ型をインポートしようとすると、それはサポートされません。 CSV sample: 'name',1,[1,2,4] or 'name',1,

1熱

1答えて

SnappyData並列処理を実現する複数のジョブ

SnappydataとSQLを使用して分析を実行していますが、ジョブが遅く、非常に大きな入力データに対して結合操作が必要です。入力データを最初にパーティション化し、同時に異なるパーティションでジョブを実行してプロセスを高速化することを検討しています。しかし、埋め込みモードの私のコードは、SnappySessionが渡されると、テーブルを照会するためにbin/snappy-sqlを使うことができ