bigdata

0熱

1答えて

hdfs dfs -lsコマンドの実行では、結果がクラスタに格納されているすべてのファイルか、実行されているノード内のパーティションだけであるかどうかを知ることができます。私はhadoopでnewbyです。私はいくつかの問題を各ノードのパーティションをserchingしています。はあなたに

0熱

1答えて

apache sparkとノートブックの同様のインストーラを提案しますか？

私はbigdata analyticsを初めて利用しています。私はiPythonのようなコードを実行するためにapache sparkとノートブックをインストールしようとしています。スパークのセットアップと良いノートブックツールを組み込んだインストーラはありますか？私はPHPとApacheのバックグランドから来ています。私はxamppのようなツールに慣れています。いずれもapache sparkと

0熱

1答えて

csvの特定の列を合計の辞書に変換します

私はこのウェブサイトから得た大きなcsvファイルを持っています：https://data.baltimorecity.gov/Public-Safety/BPD-Part-1-Victim-Based-Crime-Data/wsfq-mvij。このファイルには、ボルチモアで起きた犯罪の情報が含まれています。私は、たとえば、次のように辞書を得ることができるように私は、すべてのCrimeDate日

2熱

1答えて

DynamoDBとS3フラットファイル

クリックストリームタイプのユーザーイベントデータをテラバイト単位で保存しています。狭い日付範囲を合理的に迅速に照会できるように、日付別に索引付けまたはパーティション化する必要があります。私はこれに関する集計ジョブとクエリを実行できるようにしたい。 Amazon EMRなどでSparkを使用する予定です。 s3://my-bucket/20160503_00/data.txt s3://my-bu

0熱

1答えて

NetCDF大きなデータ

大容量（+ 15GB）のNetCDFファイルを3D変数（時間はレコード次元として、データは経度で緯度）を保持するプログラムに読み込む必要があります。私はそれが一定の基準に合格した場合のNetCDFの各ブロックをチェックする（3レベルのネストされたループ内のデータを処理しています例えば、。 from netCDF4 import Dataset import numpy as np

5熱

2答えて

大きなデータウェアハウスの選択

今日、私は膨大な量のデータを格納し処理するデータウェアハウスを作成することに挑戦してきました。推定金額は1日当たり7億件を超える。データは7日間保存する必要があります。平均イベントサイズは約0.5〜1Kbです。データを次のように処理する必要があります。レポートを生成する必要があります。列車モデル。現在私は評価しています： GoogleのBigQueryの赤方偏移 Stratio +カサンド

1熱

1答えて

私がそうするとき、私が作成したテーブルを取得</p> <pre><code>CREATE TABLE media.post (RowKey string, HashTag string, PostID string, PostImpact int, PostSentiment string, CreationDateTime timestamp); </code></pre> <p>私は、データベース・スキーマとのHBase上のいくつかのテーブルを作成したいこんにちは、私は例えばインパラを通じてそうしたいインパラ

経由のHBaseのテーブルを作成します。しかしHBaseではなくHDFS上で、私はHBase経由でそれに接続することはできません... HBase上でそのようなSQLを実行することさえ可能ですか？

0熱

1答えて

HDFSは-count：

-v不正なオプションを、私は、ヘッダーを取得しようとしていたが、それは hdfs dfs -count -q -h -v hdfs_path -count: Illegal option -v Hadoopのバージョン-v不正なオプションを言う：Hadoopの2.6.0.3.0.0.0-249 ソースリンク：hdfs count

2熱

5答えて

のSQL Server 2016 Rサービス：sp_execute_external_script戻り0x80004005のエラー

私は100Mレコードを照会した後、いくつかのRコードを実行し、プロセスが6時間にわたって実行した後、次のエラーを取得： Msg 39004, Level 16, State 19, Line 300 A 'R' script error occurred during execution of 'sp_execute_external_script' with HRESULT 0x80004

1熱

2答えて

Hiveで列データ型を変更する

テーブル列のデータ型をstringからdateに変更する必要があります。一方、以下のエラーを取得しようとしています。助けてください。ハイブ>説明sales_staging; OK CUST_ID列prod_num列数量INT SALE_DATEストリング sale_idストリング取ら時間：0.151秒、フェッチされた：5行（S）ハイブは>変化をsales_stagingテーブルを変更しま