0
私は、SparkのAPIHadoopRDD関数を使用しようとしていますが、コンストラクタにファイルの名前を取る引数がないことがわかります。では、この場合のファイル名の設定方法は？NewHadoopRDDを使用するときにファイル名を与える方法は？
A
答えて
2
これはorg.apache.hadoop.conf.Configurationを使用して構成され、詳細は使用するInputFormatに依存します。例えば、TextInputFormatはmapred.input.dirを使用します。
一般に、ファイルベースのソースを使用する場合は、newAPIHadoopFileを使用します。
関連する問題
- 1. hadoop出力ファイルにカスタム名を与える方法
- 2. ユーザー名のハイパーリンクを与える方法
- 3. Cプログラムを使ってメールにユーザー名とパスワードを与える方法は？
- 4. org.commons.ziparchiveentryで外国語のファイル名を与える方法
- 5. ファイル名を与えるときに、名前を数字で指定すると、それに奇妙な数字が与えられます。
- 6. マニフェストファイル内のファイル名を置き換える方法rev-replaceを使用して
- 7. URLにパラメータを与える方法は？
- 8. ArrayListに追加するときにオブジェクトに与える名前
- 9. DjangoとPythonを使用してテーブル値ごとにパーミッションを与える方法
- 10. Partを使用してJSFでファイルをアップロードするときにファイル名を取得する方法は？
- 11. CLIONのファイル名にキャンドルケースとファイル名を使用するには？
- 12. nilのときにsort_byの値を与える方法
- 13. mysqlのlike演算子にエイリアス名を与える方法
- 14. 匿名ユーザーにrpc apiへのアクセスを与える方法
- 15. あなたのサーバにドメイン名を与える方法
- 16. SyntaxNetの入力としてファイルのフォルダを与える方法
- 17. JUnitParamsの@FileParametersを使用するときにパラメータにnull値を与える方法
- 18. .htaccessファイルを変更してQUERY_STRINGを与える方法は？
- 19. Oracleで特権を与える特権を与える方法
- 20. i18nからThymeleafを使用してボタンラベルを与える方法
- 21. javascriptを使用してfloatで合計を与える方法
- 22. スパンタグを使用しないで*色を与える方法
- 23. XSDを使用してXMLファイルを検証するときに名前空間を使用する方法
- 24. qq.FileUploaderを使用してファイルをアップロードするときにファイル名にプレフィックス文字列を追加する方法
- 25. ファイル名に「/」を使用することはできますか？
- 26. .PFXファイルを使用してJARファイルに署名する方法
- 27. フレックスでpdfに書き出すときに改行を与える方法
- 28. Angular.jsとCSSを使ってアニメーション効果を与える方法
- 29. laravelでサブクエリを与える方法は？
- 30. バッチファイルでgit cloneコマンドを実行するときにパスワードを与える方法
基本的に、ディレクトリ内のファイル（my_input_dir）を設定してからval c = new Configuration（sc.hadoopConfiguration）を設定します。 c.set（ "mapred.input.dir"、 "my_input_dir"）; – pythonic