hdfs

0熱

1答えて

hdfsへのsqoopインポートを使用しているときに、Postgresのカラムのタイプを変更するにはどうしたらいいですか？

タイムゾーンのないタイムスタンプのタイプのPostgresデータベースにカラムがあります。 sqoopを使用してhdfsにインポートする際に、タイムゾーン（UTC）でタイムスタンプに変換するにはどうすればよいですか？

12熱

4答えて

私はsshを使用してクラスタに接続されていると私は私がテキストファイルに結果を保存したい spark-submit --master yarn myProgram.py 使用してクラスタにプログラムを送信し、私が使用してみました次の行： counts.write.json("hdfs://home/myDir/text_file.txt") counts.write.csv("hdfs://

1熱

1答えて

Hadoop HDFSは適切な場所に圧縮します

したがって、hdfsの/ var/log/...には、圧縮されていないか、スナッピーで圧縮されたログファイルがたくさんあります。 .snappyで終了しない場合は、それらを圧縮して、末尾に名前を付けたいと思います。しかし、私はこれをデータの局所性で行いたいと思っています。私はハープ・ストリーミング・アプローチを試みました。 HAD=/usr/lib/hadoop $HAD/bin/hadoop

0熱

2答えて

HDFSデータノードサーバを新しいサーバに移行する

すべてのデータとコンポーネントを含むhadoopサーバを新しいサーバ（新しいバージョンのredhat）に移行したいと考えています。ネクロノードを移動する方法についてclouderaサイトの投稿を見ましたが、ですが、データ損失なしですべてのデータノードを移動する方法はわかりません。私はレプリカファクタ2を持っています。一度に1データノードをシャットダウンすると、hdsfsは新しいレプリカを生

0熱

1答えて

HadoopのHDFS APIが親ディレクトリを作成しないようにするにはどうすればよいですか？

サブディレクトリを作成するときに親ディレクトリが存在しない場合、HDFSコマンドを失敗させたい。私はFileSystem#mkdirsのいずれかを使用すると、私の代わりに、存在しない親ディレクトリを作成し、例外が上がっていないことを見つける： import java.util.UUID import org.apache.hadoop.conf.Configuration import org

0熱

1答えて

hdfsデータノードは、しばらくの間ダウンした後に再起動した場合、再起動しません。

hadoop 2.9.0のPOCを分散ファイルストレージシステムとして実行しています。レプリケーションファクタ2の4データノード（マスタを含む）。ここで、一連のコピー操作の後、私はdatanode（slave2）の1つを停止することにしました。そして、slave2がまだダウンしている間に、hdfs dfs -rm -skipTrashコマンドを使って数GBのデータを消去しました。後で私が停止し

2熱

1答えて

Cloudera VMのHDFSからハイブテーブルにデータをロード

Cloudera VMを使用する場合、どのようにHDFSの情報にアクセスできますか？私はHDFSへの直接的な経路がないことを知っていますが、私はそれに動的にアクセスする方法も見ていません。ハイブCLIを通じてハイブ表を作成した後、私はHDFSにあるファイルからいくつかのデータをロードしようとしました： load data inpath '/test/student.txt' into table

0熱

1答えて

SparkRエラー：HDFS上のルートスクラッチディレクトリ：/ tmp/hiveは書き込み可能である必要があります

SparkRを初期化しようとしていますが、アクセス権エラーが発生しています。私のスパークバージョンはspark-2.2.1-bin-hadoop2.6です。私はこのエラーとそれを解決する方法を探し、いくつかの関連するトピックを見つけました。しかし、私はこれらのトピックと同じアプローチを使って解決することができません。その解決策は、次のコマンドを使用して、/ tmp/hiveディレクトリにパーミッシ

0熱

1答えて

HDFSからKuduにデータをロードする

私はKuduテーブルにデータをロードしようとしていますが、奇妙な結果を得ようとしています。私はSqoopによってインポート4個のHDFSファイルから外部表を作成したインパラコンソールで： drop table if exists hdfs_datedim; create external table hdfs_datedim (...) row format delimited fiel

0熱

1答えて

ワーカーマシン上のディスクを増やした場合の青写真/ ambariクラスタを更新する方法

我々は、各労働者が5枚のディスクを持っている3マスター機、2カフカさんと3台の労働者のマシンとambariクラスタを持っているとして： /dev/sdb 200G 477M 200G 3% /gr/sdb /dev/sdc 200G 183M 200G 1% /gr/sdc /dev/sdd 200G 283M 200G 2% /gr/sdd /dev/sde