hadoop

1熱

1答えて

JAFSを使用してHDFSの1つのディレクトリからHDFSの別のディレクトリにコピー

HDFSの1つのディレクトリからHDFSの別のディレクトリにデータをコピーしようとしていますが、これは私のコードスニペットです。 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); LOGGER.info("Connected"); Path source=ne

1熱

1答えて

avro avdlファイルを複数のモジュールに共有する

私はマルチモジュールプロジェクトを持っています。いくつかの一般的なまたは一般的なものを定義するコアモジュールがあります。そのコアモジュールにavdlファイルを定義しました。そして、コアモジュールのavdlファイルで定義されている型を使用する他のモジュールで、他のavdlファイルを定義したいと思います。 avro mavenプラグインでこれを行うにはどうしてですか？

1熱

1答えて

ifileのreadaheadに失敗しました。EBADF：行列加算中にファイル記述子が正しくありません。

行列加算のためにApache Pigでコードを記述しようとしています。 matrixM = LOAD 'Mmatrix.txt' USING PigStorage (',') AS (i,j,v); matrixN = LOAD 'Nmatrix.txt' USING PigStorage (',') AS (i,j,v); unionres = UNION matrixM, matrixN;

0熱

1答えて

sparkアプリケーション用に割り当てられたリソース（割り当てられたメモリ）の計算方法は？

私たちが知っているように、スパークアプリケーションを実行するには、クラスタはリソースを割り当てますが、アプリケーションに必要なデフォルトの設定など、割り当てられたメモリの合計を計算する方法はありますか？

0熱

1答えて

ハイブストリングの出力表の値に置き換えられる関数

以下のサンプルセットのようなテーブルがあります。 ColA AAAA BBBB CCCC 次のクエリを使用して出力を取得しました。 SELECT LPAD (ColA,5,'0')FROM TableName; 次の出力が表示されます。 ColA 0AAAA 0BBBB 0CCCC しかし、テーブルの値を出力値に置き換えたいとします。出来ますか？

0熱

1答えて

ハイブテーブルのアーカイブ

内部テーブルと外部テーブルを含み、パーティション化されていてもパーティション化されていないハイブテーブルに対しても、アーカイブとパージのメカニズムを適用したいと考えています。私はsite_visitorsテーブルを持っており、visit_dateでパーティション化されています。そして、私は過去1年間に自分のサイトにアクセスしなかったsite_visitorsテーブルのデータをアーカイブしたかっ

0熱

1答えて

新しいレコードのSqoopインクリメンタルインポート

emp_Id = 6が存在せず、Sqoopジョブを作成して追加モードで増分Sqoopを実行した1から10までのemp_idで構成されるテーブルがあります。この後、次の2つの新しいemp_idが追加されました。つまり、emp_id=6とemp_id = 12です。私の質問は、emp_id =6をインクリメンタルにインポートするか、それともemp_id = 12だけインポートするのでしょうか？

1熱

1答えて

Javaファイルを自動生成する方法は？

私はSqoopを使ってMySQLとHDFSの間でファイルをインポートする作業をしています。私が働いているとき、2つのJavaファイルが私のホームディレクトリに自動生成されました。ファイルを開くと、Sqoopコマンドと同じ作業をするコードが含まれていました。以下は私のsqoopコードです sqoop import --connect "jdbc:mysql://quickstart.cloudera

0熱

2答えて

SQOOP - インポート失敗：ヌル文字列からパスを作成できません

SQOOPインクリメンタルアップデートを使用して、SQLサーバからHBaseテーブルにテーブルをロードしています。ただし、SQLテーブルのNULL値はHBaseにインポートされません。私はHbaseはnull値をサポートしていないことを理解し、nullを含むフィールドはHbaseに存在しないはずです。しかし、私の関心事は、特定の列が、レコードのいくつかに値がある場合でも、ほとんどのレコードのNUL

1熱

1答えて

HDFSのファイルを解凍する

現在、Python 3を使用しており、HDFSからピクルファイルをロードしたいと考えています。 from pywebhdfs.webhdfs import PyWebHdfsClient import pickle hdfs = PyWebHdfsClient(host='...', user_name='...') pickled_model = hdfs.read_file(pickl