2017-08-01 6 views
-1

Hey StackOverflow Community、NifiフローでClassNotFoundExceptionが発生しました

私はNifiフローにいくつかの問題があります。 AzureのBLOBから自分のデータを取り出してHDFSClusterに保存しました(まだAzureにあります)。

Nifi内のアイテムPutHDFSでの私の設定は次のとおりです。

PutHDFSConfiguration

しかし、私は、フィールド "Hadoopのressources" を通知したときに、私はこの次のエラーがあります。

PutHDFS [ID = 89381b69- 015d-1000-deb7-50b6cf485d28] org.apache.hadoop.fs.adl.HdiAdlFileSystem:れるjava.lang.ClassNotFoundException:org.apache.hadoop.fs.adl.HdiAdlFileSystem

PutHDFS [ID = 89381b69-015d-1000 -deb7-50b6cf485d28] PutHDFS [i d = 89381b69-015d-1000-deb7-50b6cf485d28]は、java.lang.RuntimeExceptionのために@OnScheduledメソッドを呼び出せませんでした:プロセッサのOnScheduledタスクの1つを実行中に失敗しました。プロセッサーが30秒間実行されるようにスケジュールされません。java.lang.RuntimeException:プロセッサのOnScheduledタスクの1つを実行中に失敗しました。

私はこれを解決し、自分のデータを自分のクラスタに入れることができます。

ご回答ありがとうございます。

+0

クラスパスからhadoopライブラリが見つからないようです。 –

答えて

1

Apache NiFiはAzure関連のライブラリをバンドルしていません。標準のApache Hadoopクライアントのみをバンドルしています。最近のNiFiリリースを使用している場合2.7.3です。

追加のAzure JARの場所は、「Additional Classpath Resources」というPutHDFSプロセッサのプロパティで指定できます。

+0

ありがとう、これを試してみましょう。 –

+0

この解決策のプロブレムは、私がNIFIをアップグレードした場合、追加の紺碧のJARがそれ以降は動作しない可能性があります。実際、core-site.xmlファイルを見て、いくつかの情報がないと思います。 よう fs.adl.oauth2.refresh.token をfs.adl.oauth2.client.idしかし、私はへのAzureでの適切な権利を持っていませんファイルを更新する... –

関連する問題