hdfs

1熱

1答えて

私は、ファイルを保存するためにhadoopを設定する必要があります。テキストファイルだけでなく、画像ビデオpdfでもかまいません。また、必要に応じていつでもファイルを追加してファイルにアクセスできるWebアプリケーションがあります。実装することはできますか？また、Webアプリケーションを開発する必要があります。ありがとうございました。

1熱

2答えて

ディレクトリ内のすべてのHDFSファイルから最初の行を取得する方法はありますか？

私のクラスタの "/ user"ディレクトリにあるすべてのHDFSファイルから最初の行を取得しようとしています。現在、所有者、完全なパス（場所）、所有者の企業ID、ファイルの作成日、ファイルの読み書き権限など、これらのファイルに関する情報を含むHiveテーブルがあります。新しい列を追加したいファイルの完全な最初の行を含むこのHiveテーブルに追加します。だからこそ私はディレクトリ（私の場合は

0熱

1答えて

HadoopのHDFSデータから検索

私はJSON形式のオンラインソースからデータを抽出し、Apacheの水路を通じてHDFSにそれを格納しています。これで、Hadoopのように複数のファイルが作成されます。今私はこれらのファイルからこのデータから何かを検索し、それに関連する完全な情報を得たいと思う。解決策は何ですか？

-2熱

1答えて

すべての挿入クエリでHiveを実行すると、Hdfsファイルシステムに新しいファイルが作成されます。

すべての挿入クエリで、Hdfsファイルシステムで1つのファイルが000000_0_copy *で作成されます。これはハイブとHdfsのデフォルトの動作ですか？コンパクションのコンセプトはありますか？「はい」の場合、どのように機能しますか？

0熱

1答えて

地図ワードカウントプログラムは、「クラスが見つからない例外」

マイHadoopのバージョンを与える削減です：2.8.1 私はApache Hadoop 2.8.0 WORDCOUNTソースコードであるMapReduceの例を実行しようとしていますようです以下私は上記のコードを挿入することによってWordCount.javaファイルを作成 import java.io.IOException; import java.util.StringTokenizer

1熱

1答えて

talendとHadoopの接続

talend MDMの無料版の製品説明を参照してください。ただし、Hadoopとの接続はサポートされていますが、インタフェースにはオプションがありません。 S3からデータを取得し、Talendと接続する必要があります。これを行うことができるかどうかお勧めしますか？はいの場合は、どうですか？

0熱

1答えて

hadoop 2.5で保存されたファイルのシンボリックリンクを作成する方法

私はHDFSについて新入生です。私の質問は、hadoop 2.5バージョンに保存されたファイルのシンボリックリンクを作成する方法です.HDFSにアクセスしてシンボリックリンクシンボリックリンク）と次のように例外：スレッド "メイン" java.lang.UnsupportedOperationExceptionがで例外：はorg.apache.hadoop.hdfs.DistributedFi

-1熱

1答えて

swarmでのHDFSクラスタリング

通常のドッカー環境では、hadoop-masterやhadoop-slaveなどのHDFSクラスタイメージは正常に動作します。しかし、私がswarmモードでこれらの画像を実行しようとすると、私は接続の問題に直面しています。クラスタ化されたhdfsはdocker swarmと互換性がありますか？私が配備したサービスは、2〜3秒ごとに継続的に再起動して終了しています。 swarmモードでHDFSクラ