hdinsight

0熱

1答えて

私は仕事の定義は次のようになりますazurehdinsightクラスタ上oozieワークフローを実行しようとしています： <workflow-app xmlns="uri:oozie:workflow:0.2" name="oozie-sqoop"> <start to="sqoop1" /> <action name="sqoop1"> <sqoop xmlns="

1熱

2答えて

蒼空ブロブストアコンテナをスパークJavaでスキャン

紺碧のブロブコンテナからすべてのファイルをスパークRDDに読み込む必要があります。私はAzure HDInsightを使用しています。私のクラスタは、自分の入力ディレクトリと同じストレージアカウントに設定されています。これを達成するためのJava API /例はありますか？

0熱

1答えて

HDInsight：Visual Studioからハイブクエリを実行できません

私の最初のHDInsightクラスタをスピンアップしました。すべてが緑色になっています。私は、単純なハイブクエリを実行します。問題は、ドキュメンテーションが私には見えないHiveエディタウィンドウについて語っていることです（https://chickenhadoop.azurehdinsight.net/#/main/services/HIVE/editor）私はそこからクエリを実行できるかど

0熱

1答えて

sqoopを使用してazure HDinsights sparkクラスタからSQL Serverデータベースに接続できない

ファイアウォールのエラーを取得すると、すべてのポートが開いていて、他のクライアントからも接続できるため、yはわかりません。私のLinuxクラスタを他のマシンからpingすることさえできません。

1熱

1答えて

HDInsight用のpsycopg2のインストール方法PySpark Jupyterノート

PySparkスクリプトの一部として「import psycopg2」が必要です。 documentationパー： !pip install psycopg2 をそれは構文エラーになり（どのようなコマンドがありません！）。私は/ usr/bin/anaconda/bin/pythonのSSHセッションにインストールできましたが、Jupyterは異なる環境を使用しているようですか？私もノート

2熱

1答えて

Azureリソース管理APIを使用しているときにリフレッシュAADトークンを処理するためのベストプラクティス

この案内https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-dotnet-sdk/に従っているので、ARMベースのHDInsightクライアントを使用してクラスタを作成しています。ロジックはこのようなものです：AADとして var authToken = a

0熱

1答えて

HDInsight Intellij Plugin認証

OSX El CapitanでIntelliJ Community 2016.2.4を実行していますが、HDInsightプラグインを使用してAzureのSpark ClusterでSparkアプリケーションを実行しようとしています。しかし、AzureサブスクリプションでHDInsightプラグインを認証しようとすると、ログインに成功した後にサインインするよう繰り返し要求されるという問題が発生し

0熱

1答えて

LivyサブミットでSparkジョブの再試行を設定します。

Livyを使用して長時間実行しているSparkバッチジョブを送信すると、ジョブはデフォルトで5回再試行され、最終的には失敗します。これを変更してジョブがすぐに失敗するようにするにはどうすればよいですか？私の環境はAzure HDInsight（HDP）で動作するSpark 1.6です。ありがとうございます！

0熱

1答えて

C＃でキーとなるファイル名を取得バイナリmapper.exeとreducer.exeを使用してストリーミングmapreduceジョブ

次のコードは、ストリーミングジョブをクラスタに送信するために問題なく動作します。 string statusFolderName = @"/tutorials/wordcountstreaming/status"; var jobcred = new BasicAuthCredential(); jobcred.UserName = "username"; jobcred.Password