apache-spark-2.0

0熱

1答えて

Apache Spark with Java、OracleのVarchar2からDate Typeに変換するときにエラーが発生する

すべてのフィールドがvarchar型のデータを1つのOracleテーブルから読み込み、同様のフィールドを持つ別のOracleテーブルに保存するのが理想的です正しいデータ型。これはjavaでのみ行う必要があります。 create table employeeStr ( name varchar2(50), empid varchar2(50), age varchar2(50), salary

1熱

1答えて

Apache Sparkの最後のストリームを閉じるとjava.io.IOExceptionが発生する：ストリームが閉じられる

私はの郵便番号のファイルをのApache Sparkに読み込んでいます。私はmy answer on StackOverflowを共有しました。 @Programmerは、開かれたストリームを閉じているわけではないことをよく知っていました。私は Stream.continually(zis.getNextEntry) .takeWhile { case null => zis.

1熱

2答えて

Cloudera Spark2のインストール

このコンポーネントをインストールするclouderaの指示に従って、私のclouderaクラスタ（評価版）にSpark2をインストールしようとしています。私は、CSDをダウンロードし、それをインストールし、小包を使用してコンポーネントをダウンロードし、それを配布するが、私はこのメッセージを抱えている、それをアクティブにしようとすると： CDH（5.8以上）SPARK2 に必要な小包（2.2 .0.

1熱

1答えて

Spark Datasetフォルダ内にヘッダーを含む複数のCSVファイルを読み込み、すべてのファイルのヘッダーが同じでない場合のレポートの不一致

hdfsディレクトリからSpark 2.1.0 APIを使用してhdfsディレクトリからspark DataSetに複数のcsvファイルをロードしようとしています。 val csvData = spark.read.option("header", "true").csv("csvdatatest/") "csvdatatest"フォルダ内に複数のcsvファイルがあります。 Sparkは最初の

0熱

1答えて

スパークストリーミングデザインの質問

私は具体的な質問はありませんが、デザインに関する質問はありません。私はスパイク/ストリーミングのために私は新しいので、私は愚かな質問をしている場合は私を許しています。このフォーラムに質問が不適切な場合は削除してください。基本的に私たちは毎時間膨大な量のデータを処理し、キバナ（弾性検索）で報告するためにo/pを生成する必要があります。以下に示す2つのデータモデルがあるとします。 DataModel

0熱

1答えて

Spark 2.1 register to functionRegistry

こんにちは私は既に作成されたUDFオブジェクトを登録したいと思います。私はspark 2.1を使用していますが、sparkSession.udf.register（）関数は通常のスカラ関数のみのUDFパラメータを受け入れません。大規模なSpark APIから何かを見逃すのは簡単です。だから、2.1でこれを可能にする関数またはコンストラクタがありますか？この場合

0熱

1答えて

現在のプロジェクトをsbt-sparkビルドの問題に設定する

sparkをビルドしようとしているときにエラーSet current project to spark-parent (in build file:/C:/cygwin64/spark-current/spark-2.1.1/)が表示されます。これを容易にするために設定できるオプション "-Dcurrent"またはsbtスイッチがありますか、またはビルドファイルに触れる必要がありますか？％SPA

0熱

1答えて

Spark2が1つのノードでのみ動作するのはなぜですか？

私はZeppelinからSpark2を実行しています（HDP 2.6では0.7）、私は何時間も後にクラッシュするidf変換を行っています。これは、マスタと3つのデータノードs1、s2、s3を持つクラスタ上で実行されます。すべてのノードにSpark2クライアントがあり、それぞれに8つのコアと16GBのRAMがあります。私はただ1つのノードs3で5つのエグゼキュータを実行していることに気付きました。

2熱

1答えて

ストリーミングデータセットをピボットする方法は？

Sparkストリーミングデータセット（構造化ストリーミング）をピボットしようとしていますが、AnalysisException（以下の抜粋）があります。誰かが、構造化されたストリーム（スパーク2.0）では実際にはピボットがサポートされていないことを確認できますか？スレッド「メイン」org.apache.spark.sql.AnalysisExceptionで例外：ストリーミングソースとクエリは