ファイルI/O用のHbase。リモートクライアントにHDFSを接続する方法

Question

あなたが読む前に英語が流暢ではないことに注意してください。 私はNoSQLで新しく、ファイル保存用にHBaseを使用しようとしています。 HBaseにファイルをバイナリとして保存します。 統計は必要ありません。私が必要とするのはファイルストレージだけです。 はお勧めです！？！？

I/O速度が心配です。

実際には、hadoopとHDFSを接続する方法が見つからなかったので、私はファイル保存用にHBaseを試してみたいと思っています。クライアントコンピュータにHadoopをセットアップすることはできません。私はクライアントがHDFSにファイルを手に入れるのを助ける、RDBMSのためのJDBCのようないくつかのライブラリを見つけることを試みていました。私は何も見つけられず、接続ライブラリの代わりにHBaseを選択しただけです。

誰かから助けを得ることはできますか？

Answer 1

実際のファイルサイズによって異なります。 Hbaseでは、ファイルまたはLOBを格納することは一般的に推奨されません。デフォルトの最大キー値は10MBです。私はその限界を上げ、> 100mbの値でテストを実行しましたが、メモリ内のすべての値を保持する必要があるため、領域サーバーを危険にさらします.JVMメモリを注意深く設定してください。

このタイプの質問がhbase-users listserveで尋ねられた場合、ファイルが大きくなる可能性がある場合は、通常の応答はHDFSを使用することをお勧めします。

Thriftを使用してHDFSに接続すると、クライアントコンピュータにHadoopクライアントのインストールをバイパスすることができます。