hdinsight

0熱

1答えて

install_hdisamples.pyスクリプトは、HDInsightクラスタ作成時に実行されます。ファイルサンプルと参照されたストレージにいくつかのテーブルを含むいくつかのフォルダを作成します。クラスタ作成時にこのようなスクリプトの展開を避けることはできますか？ ARMテンプレートで実行できますか？

0熱

2答えて

HDInsight Jupyterに外部依存関係を追加するにはどうすればよいですか？

AzureでHDInsight Sparkクラスタを使用していますが、Jupyterは外部依存関係を追加できません。私は意図的な間違い作る場合しかし、：：これを試し %%configure { "packages":["com.websudos:phantom_2.10:1.27.111111111111"] } をこれはちょうどそれらをロードしていない、パッケージを解決しようとしています

1熱

1答えて

Azure Data FactoryはIP制限付きVNetのHDInsightクラスタにアクセスできない

Azure VNetにHDInsight Hadoopクラスタ（Linux、別途配備）を使用しています（NSGを使用してクライアントIPを制限しています）。 Azure SQLファイアウォールには、「Azureサービスへのアクセスを許可する」というオプションがあります。これにより、Data FactoryはAzure SQLにアクセスできます。 VNetでは、このようなオプションはありません.IP

0熱

2答えて

Azure HDInsightでのデータ配信の処理方法

Hadoopのセールスポイントの1つは、データが計算されていることです。それはWASBとどのように機能しますか？ MapReduceジョブを処理するときに、データのブロックが存在する場所でマップおよび縮小タスクが実行されます。このようにして、データの局所性が達成される。 HDInsightの場合、データはwasbに保存されます。 MapReduceを実行すると、データがwasbから計算ノードのそれ

0熱

1答えて

Azureデータ工場のPig用Python UDFオンデマンドHDInsightクラスタ

Azureデータファクトリと紺碧ブロブを使用して豚スクリプトを保存する場合、豚用のPython UDFを含めるにはどうすればいいですか？

1熱

1答えて

HDInsightクラスタのYARNアプリケーションの数が突然急増しました

何らかの理由により、何らかの理由でクラスタが誤動作しているように見えます。突然YARNジョブの数が急増しています.HDInsight LinuxベースのHadoopクラスタを使用しています。 Azure Data Factoryジョブを実行して、基本的にこのクラスタを指すハイブスクリプトを実行します。特定の時点でのYARNアプリの平均的な数は、実行中は50、保留中は40〜50です。 Noneは、こ

0熱

1答えて

Spark JavaアプリケーションからAzureにログイン

Azure HDInsightのlinuxクラスタでspark Javaアプリケーションを開発しようとしています。私たちはLivyを通じて申請書を提出することができました。私たちが直面している問題は、ロギングに関連しています。 RollingFileAppenderを使用すると、出力.logファイルのパスを入れなければならないので、ここでlog4jをどのように使用できますか。私たちの場合、ログを

0熱

1答えて

PySparkのエントリを地理的にフィルタリングする方法は？

ある期間にLat/Lon形式のユーザーのデータセットがあり、GIS関数を使用してエントリをフィルタリングしたいと考えています。例えば、ポリゴン（G_世界のST_Contains）内のエントリを検索し、ESRI geodatabaseファイルを使用して、ユーザーエントリがある区画である列を追加します。を検索しましたが、この時点でのPythonのサポートはnot workingです。私はまた、Esri

0熱

1答えて

ハイブODBCを使用してHDInsightクラスタに接続できません

Microsoft Hive ODBC Driver DSN Setupを使用して、HDInsightクラスタに接続しようとしています。そのため、ハイブテーブルをExcelシートにインポートできます。すべてのExcelが正しく設定されているので、私はそれについて心配していません。は "Failed to establish connection SQLSTATE: HY000[Microsoft

-1熱

1答えて

HDInsight HBase、blobを使用してhbaseを設定する

私は現在hdfsの代わりにオブジェクトストアを使用してhbaseについていくつかの調査を行っています。今、私はブロブを使用してHadoopのを設定することができ、その上でHDFSとHBaseのでクラスタを持って、私は成功したように、いくつかのコマンドを実行できます。 hadoop fs -copyFromLocal /root/x.sh wasb://[email protected]/ しか