キッチンからジョブを実行するときのジョブの動作が異なります。

Question

私は、Pentaho Data Integration 7.1を使用して、ローカルファイルをHadoop 2.8.0クラスタにコピーしています。私はPentahoでHadoop Cluster接続を作成しましたが、HadoopのCopy Filesステップを使用しています。私は正常私はGUI（spoon.sh）から私の仕事を実行するとき、私はログに次の行を見ることができるファイルをアップロードすることができます

Hadoop Copy Files - Processing row source File/folder source : [file:///home/etl/Desktop/users_full_20170620.csv] ... destination file/folder : [hdfs://hadoop:***@spark-master.cu:9000/value_iq]... wildcard : [null]

をしかし、私は使用して同じ変換を実行しようとすると、

Hadoop Copy Files - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Folder file:///value_iq/bin/kettle/data-integration_7.1/hdfs:/hadoop:hadoop@spark-master.cu:9000/value_iq does not exist!

どういうわけか、それは目的地の的環境がローカルであると仮定すると、kitchen.shは、HDFSのURLの前に置かれているパスを追加します：kitchen.shは、私は次のエラーを得た失敗しました。

これは私のHadoopのファイルのコピーステップ

のスクリーンショットでこのバグのJIRAレポートはが作成されています：http://jira.pentaho.com/browse/PDI-16443

Answer 1

はUI依存性の問題をそれ `s。 jiraケースを提出してくださいhttp://jira.pentaho.com

Answer 2

私が見る限り、PDIは存在しないファイルを期待しています。それを作成してください！

PDIソリューションをdevからprodに移動するには、相対ファイル参照を作成します。フォルダ名をハードコードするのではなく、Ctrl-spaceを押して、${Internal.Job.Filename.Directory}を選択します。これは実行時にジョブ/ transfoを含むディレクトリの名前に置き換えられ、devマシンとprod環境では異なります。

各unの前にこれらの名前を手動で設定することができます。パラメータと変数のリストが表示されます。その中でこの実行のために変更できる{Internal.Job.Filename.Directoryがあります。

あなた自身の変数を定義することもできます（devプロセスの早い段階で行うことをお勧めします）。トップメニューのEdit the kettle.propertiesには、my-dirを追加します。 Ctrl-spaceとrun optionsに表示されます。 kettle.propertiesは、.kettleという名前の隠しディレクトリに格納されていて、あなたのdevマシンとprod sererで異なります。

ループでの負荷を自動化するために、ジョブとトランスフォームでこれらの変数を設定して変更する方法は、すぐにGet variablesとSet variableとなります。 SOmeの例は、PDIディストリビューションに同梱されているsampleディレクトリにあります。