hdinsight

0熱

1答えて

私はhdinsightを初めて使っています。通常の社内クラスタでは、新しいテーブルを作成して既存のスキーマに配置するか、後でそれを取得するための新しいスキーマを作成できます。私はhbaseテーブルを作成する場合、私は同様の方法を行うことができます。 Hiveでテーブルを作成したり、Hdinsightでベーステーブルを作成した場合、作成したテーブルをクエリできるようにするには、シャットダウンする前に

0熱

1答えて

Jupiter on Azure HDInsightは同じディレクトリにあるファイルを読み取ることができません

Jupyterノートブックから設定変数を分離したいと思います。だから私は別のjsonファイルにこれらの変数をすべて入れたいと思った。私はAzure HDInsightを使用しており、設定ファイル自体であるため、ストレージアカウント名とキーを使用してこのファイルにアクセスする必要はありません。ノートブックの場所と同じディレクトリにこのconfig jsonファイルを保存すると、この問題が解決し、i

0熱

2答えて

HDInsightクラスタからアクセスタイプ「Blob」のコンテナ内のBLOBにアクセスできません

HDInsightクラスタからアクセスタイプ「Blob」のコンテナ内のBLOBにアクセスしようとしています。しかし、私はやるとき： - HadoopのFS -text wasb：//[email protected]***.blob.core.windows.net/file.csv 私は次の例外を取得：を org.apache.hadoop.fs.azure.AzureException：コン

0熱

2答えて

WindowsからのrxHadoopCopyFromLocal

WindowsからリモートHDFSにコピーする正しい構文は何ですか？私はこれが copyFromLocal '/path/to/file.csv': no such file or directory` お知らせCスローRStudio rxHadoopCopyFromLocal("C:/path/to/file.csv", "/target/on/hdfs/") を使用してリモートHad

0熱

1答えて

私は紺碧のhdinsightクラスターを縮小できますか？

私は8ノードクラスタでazure hdinsightを作成しました。私はすべてのワーカーノードを占めるハイブクエリを実行しています。私は糸ノード-listをチェックするとき、次が表示されている：いくつかの時間後 Node-Id Node-State Node-Http-Address No-of-Running-Containers X.X.X.X:00050 RUNNING X.X

0熱

1答えて

MapReduceからAzure Blobパスを取得

Hadoopでは、マップ入力ファイルのパスを次のように取得できます。 Path pt = new Path(((FileSplit) context.getInputSplit()).getPath().toString()); しかし、Azure Blob Storageアカウントからどのようにこれを達成するためのドキュメントが見つかりません。 mapreduceプログラムからAzure B

0熱

2答えて

Azure HD Insight Clusterにスクリプトアクションを追加する方法

Powershellを使用してHD Insight Sparkクラスタを作成しています。スクリプトアクションを使用してクラスタを作成した後、SparkおよびHive設定を構成したいと思います。私が設定したい設定値は spark.yarn.maxAppAttempts=1 spark.yarn.executor.memoryOverhead = 1152 hive.merge.orcfile.str

0熱

1答えて

HD Insight（YARN）でスパークストリーミングジョブを永久に実行する方法を教えてください。

IntelliJでHD Insights Cluster（YARNベース）で動作するスパークアプリケーションを開発しています。現在、IntelliJから直接Azure HD Insightsプラグインを使用してジョブを送信しています。これは、順番に、Livy APIを使用してリモートからジョブを送信します。私がコードを開発し終えると、私はストリーミングジョブを永久に実行したいと思います。現在、ジ

0熱

1答えて

HDInsight HDPクラスタ用にHueをインストールする

HueをHDInsight HDPクラスタ用にインストールすることは、（スクリプトアクションを使用して、link）cluterのエッジノードに配置することでうまく動作しますが、まずクラスタ資格情報を尋ねる色相ログインページに私を誘導します。これらの資格を取り除く方法はありますか？それ以外の場合は、リモートシステムにHueをインストールして、それをHDInsight HDPクラスタにポイントできま

0熱

2答えて

HDI 3.6を使用しているクラスタでは、Sparkは常に古い1.6.3バージョンを使用します

バンドルSpark 2.1.0のみに従って、HDInsightクラスタが3.6を実行しています。はどうやらリウィウスは、このバージョンに統合し、カール（スパークジョブのAzureのチュートリアルのドキュメントのように示唆している）リウィウスHTTP 502 BAD GATEWAY応答結果にしようとしていない - ので、私は手動でスパークジョブを送信しようとしています。私はマスターノードにsshと