hdfs

0熱

1答えて

hdfs：十分なレプリカを配置できませんでした：予想されるサイズは2ですが、ストレージタイプは0個しか選択できません。

何が変わったのか、突然このエラーが発生しました。 Hdfsはドッキング・クラスタ（1 rm + 2ノード）上で実行されています。は、コンテナ内で正常に動作するため、データノードに問題はありません。ホストマシンからhdfsにファイルをコピーするときに、コードまたはhdfsコマンドでスローされます。エラースタックはhadoop-root-namenode-master.logからのものです。 2

0熱

1答えて

1つのファイルにつきハイブパーティション

ファイルがあまりにも重くなりたくない hdfsファイルの数が制限を超えたため、私は過去にエラーが発生しましたディレクトリの数が最大ファイル数に含まれていると思われます。のでI want to partitioned table with one file not directory私が知っているパーティションのディレクトリ： /test/test.db/test_log/create_dat

0熱

1答えて

コピーJSONフラットファイル

package com.Main; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI;

0熱

2答えて

Hadoop Dfsとmapreduceの入力として複数のファイル

通常、私たちはjavaファイルへの入力として1つのテキストファイルを与えます（単純な単語カウントの問題の場合など）。その代わりに、私は与えたい100のcsvファイルを持っています（すべてのファイルを1つのファイルにマージすることはできません）。与えられた100株の最大/最小株価変動を予測しようとすると、各csvファイルは一意です。したがって、csvファイルのフォルダ全体をjavaプログラムへの入

-1熱

1答えて

Spark-Javaを使用してhdfsファイルにアクセスできるユーザのリストを取得する

Javaで書かれたSparkジョブから、特定のhdfsファイルにアクセスできるすべてのlinux/centosユーザのリストを取得しようとしています。すべてのポインタが役立ちます。現在、情報を取得するためにJavaコードの下にトーリングされていますが、機能していません。 result = Shell.execCommand（ "sudo"、 "bash"、 " - c"、 "lid"、 "-g

0熱

1答えて

HDFSレプリケーションに関するOozie Libpathの適切な設定は何ですか？次のジョブプロパティを持つoozieジョブのLIBPATH設定する場合

： oozie.libpath=${nameNode}/user/usernamexxx/share/lib oozie.use.system.libpath=true を（クラスタのoozieジョブの多くは、この設定を使用）、HDFSの複製因子は、3よりもはるかに高いこと、さらには、すべてのノード間ですべきですか？

0熱

1答えて

HDFSファイルの使用

私はHadoop 2.8.1を使用していますが、ファイルサイズに関する問題に直面しています。問題はについて何ができるか 599.0 G/ ： Size Used Available Use% 4.6 T 3.8 T 861.6 G 82% hdfs dfs -du -s -h /ながら印刷するこの：コマンドhdfs dfs -df -hは、次の結果を出力しますか？

0熱

1答えて

MapReduceの処理はローカルファイルシステムとどのように機能しますか？

入力/出力がローカルファイルシステムの場合、MapReduce処理はどのように機能しますか？ MapReduceジョブの実行は、Hadoopクラスタ全体で非同期に行われますか？はいの場合、どうなりますか？私たちは実際にこのアプローチを使用する必要がありますか？（それは、ローカルシステムではなく、クラスタ内の低効率になるように効率の唯一の問題）

1熱

1答えて

SQL ServerからインクリメンタルインポートでSqoopの日付形式を変更する

TL; DR - Sqoopが使用する日付形式を変更することはできますか？ Sqoop（バージョン1.4.6）を使用してSQL Serverからデータをインポートしていて、datetime列をmy --check-columnとして指定しています。 Sqoopは、yyyy-MM-ddd hh：mm：ss.SSSの形式で日付を使用してデータベースにクエリを実行しています。ただし、SQLサーバーは英国