hdinsight

3熱

1答えて

Azure VMを作成し、JavaアプリケーションをインストールしてからWASBストレージに接続しました。次のjarsおよびcore-site.xmlを追加して、JavaアプリケーションからWASBストレージにアクセスしました。 azure-storage hadoop-azure コア-site.xmlの <configuration> <property> <name

0熱

1答えて

SQOOPがSAP HANAドライバをロードできない

SAP HANAデータベースからSQOOPを使用してAzure DataLake Storeにデータをインポートしようとしています。これはHANAデータベースに接続するためにHDBクライアントをダウンロードしましたが、 'ngdbc.jar'を$ SQOOP_HOME/libにコピーする場所を探しています。 HDInsight Clusterでは、環境変数$ SQOOP_HOME/libを見るこ

1熱

1答えて

Microsoft Azure HDInsight上のRサーバー - 非常に幅広いデータを扱います。 - rxExec？

以下のコードは、私がしたいことについてあなたにいくつかのアイデアを与えるでしょう。実際には、帰属遺伝学ファイルを扱っています。全体で約1000万のSNP（変数）が数千人に帰属していました。私は個々の変数ごとに回帰を実行したい。個々のモデルは計算上は些細な作業ですが、問題は私が巨大なファイルを扱い、これらのモデルを1億回実行していることです。マイクロソフトによると、HDInsight Rサーバーは

2熱

1答えて

HD InsightでJupyter NotebookでSparkパッケージを使用する

Jupyterノートブック経由でPySparkでgraphFramesを使用しようとしています。私のSparkクラスタはHD Insight上にあるので、kernel.jsonを編集する権限はありません。ここで提案されている解決策[1] [2]は機能しませんでした。これは私が実行しようとしたものです： import os packages = "graphframes:graphframes:

0熱

2答えて

リモートでAzure HDInsightにジョブを送信

私はAzure HDInsight Sparkクラスタを設定しました。 import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.SparkConf; public class App { public

0熱

1答えて

DataInsight/HadoopからExcel/CSVとしてデータをローカルマシンに抽出するData Lake Tools for ViSを使用

HDInsight（Windows用）内のHiveテーブルからローカルマシンにデータを抽出する方法をExcel/CSVファイル。この目的のために、私はVisual Studio用のData Lake Toolsを使用しています。は今、私はこのクエリを実行するとき、それは実際には正常に実行されますがdoesnの... INSERT OVERWRITE LOCAL DIRECTORY 'C:\Use

0熱

1答えて

Hadoopを使用したマーケット・バスケット分析

私は、数百万行のトランザクション・マーケット・バスケット・データのアフィニティ分析をすばやく実行しようとしています。クラウド上スパーク&のHadoopの上にRサーバを作成した（アズールHDInsight）をHDFS 上ロードされたデータはRevoScaleR を使ってみましょう：私はこれまで何をやったかしかし、私は最後のステップで立ち往生しました。私が理解する限り、私はRevoScaleR内

0熱

1答えて

sparkmagic

標準の設定（場所= US East、ヘッドノード= D12 v2（x2）、ワーカーノード= D4 v2）でHDInsight 3.5 Spark（2.0）クラスタをMicrosoft Azureに配備しました。（x4））。ローカルでは、https://github.com/jupyter-incubator/sparkmagic/blob/master/README.md#installatio

1熱

1答えて

azure HDInsightアプリケーションにカスタムログを追加する

私はスカラー+ apache spark 2.0アプリケーションをAzure HDInsightクラスタに導入しています。我々は紺碧のポータルを介してアプリケーションのデフォルト糸ログを見ることができます。しかし、私たちの要件は、アプリケーション固有の（ビジネス・ケースの）ログに独自のカスタム・ロガー（エラー、デバッグ・ログ）を追加することです。我々は、（紺碧のブロブストレージを格納することによっ