Jupiter on Azure HDInsightは同じディレクトリにあるファイルを読み取ることができません

Question

Jupyterノートブックから設定変数を分離したいと思います。だから私は別のjsonファイルにこれらの変数をすべて入れたいと思った。私はAzure HDInsightを使用しており、設定ファイル自体であるため、ストレージアカウント名とキーを使用してこのファイルにアクセスする必要はありません。

ノートブックの場所と同じディレクトリにこのconfig jsonファイルを保存すると、この問題が解決し、it is also saved in storage accountというPythonスクリプトに触れることなくこの設定ファイルを変更できるようになりました。

しかし、Pythonは同じディレクトリにあるこのファイルを読み取ることができません（スクリーンショットを参照）

ノートホーム：

ノート：

Answer 1

私はこれが出ましたユーザーと権限が異なるためです。

ノートブックはユーザlivyで動作しています。私はmagicコマンドを実行すると、ユーザはsparkです。だからpwd magicコマンドは作業ディレクトリを/var/lib/jupyter（非常に混乱している）と表示し、ノートブックのホームに表示されるすべてのファイルを含んでいます。

私の問題を解決するために、パス付きのwasp（デフォルトストレージに格納されているコンテナとストレージアカウントのホスト名なし）を使用できます。

config = spark.read.json("wasb:///HdiNotebooks/config.json")

このように私は、コンテナ名とハードスパークコードでのコーディングストレージアカウント名を削除しました。