bigdata

0熱

1答えて

Rubyで大きなファイルを解析する

非常に大きなXMLファイル（50GB近く）を解析する必要があります。どのようにRubyでそれを行うことができますか？チャンクで分割することはできません。すでに試してみました。

ruby parsing bigdata 2016-08-30

---

0熱

1答えて

Cloudera REST Apiがタスクリソースを取得する

Cloudera-Admin（CDH5）の特定のアプリケーションに対してTaskリソースを取得するための正しいAPIとURLを見つけるのが難しくなっています。 私はすでにそれを確認していますが、正しいものを見つけることができません。次のようにCDH4のタスクの詳細が利用可能でした。 https://archive.cloudera.com/cdh4/cdh/4/hadoop/hadoop-yarn

hadoop cloudera cloudera-cdh cloudera-manager bigdata 2016-08-31

---

3熱

3答えて

なぜローカル変数へのsparkで引数を抽出する方が安全だと思われますか？

私はこの本の中で、この例を見ての「学習スパーク：雷 - 高速ビッグデータ分析」：は class SearchFunctions(val query: String) { // more methods here def getMatchesNoReference(rdd: RDD[String]): RDD[String] = { // Safe: extract just the fiel

scala function apache-spark distributed-computing bigdata 2016-08-31

---

0熱

1答えて

ネイティブスナップライブラリを解決する方法：SnappyCompressorがロードされていませんか？

Mapreduceでワードカウントを実行しましたが、エラーが発生しました。ネイティブスナップライブラリが利用できません：SnappyCompressorがロードされていません。私は、スナップのライブラリが読み込まれていないと思う。しかし、私はネイティブのライブラリを確認するときにスナップライブラリはOKです。私はそれを解決する方法を知らない。

hadoop mapreduce snappy bigdata 2016-09-01

---

1熱

3答えて

大きなクエリでパーティションテーブルを作成する

大きなクエリでパーティションテーブルを作成する方法をお勧めしますか？ 例：2016年のGoogleストレージに1つのログデータがあるとします。すべてのデータを年、月、日付でパーティション化された1つのバケットに格納しました。ここで私は日付でパーティション化されたテーブルを作成します。 オプション1 YourLogs_YYYYMMDD が作成したテーブルの後にどのようにLoad Data from

sql google-bigquery bigdata 2016-09-01

---

1熱

2答えて

kafkaストリームとmaprストリームの違いは、コーディングの観点からですか？

コーディングの観点から、kafkaストリームとmaprストリームの違いは何ですか？私は将来maprストリームを実装する必要がありますが、現在私はカフカにアクセスするだけでカフカを探検するのが今役に立ちますか？一度アクセスすれば、簡単に地図のストリームを手に入れることができます。

apache-kafka streaming mapr bigdata 2016-09-01

---

1熱

1答えて

アレイのRDDを作成

私はIs Spark's KMeans unable to handle bigdata?のために苦しんでいるので、私はドラマを示すための最小限の例を作成したいと思います。そのために、私はデータを読むのではなく、作成したいと思っています。アレイのリストであるように思わ In [22]: realData.take(2) Out[22]: [array([ 84.35778894, 190.61

python arrays apache-spark distributed-computing bigdata 2016-09-01

---

2熱

1答えて

spark unix_timestampデータ型の不一致

from_unixtime（）関数が動作するためにfrom_unixtimeを送信する必要があるデータ型または形式を教えてもらえますか？ 私は以下を試してみるとうまくいくが、current_timestampでは応答しない。 from_unixtime(current_timestamp()) 応答は以下の通りです： fromunixtime(currenttimestamp(),yyyy-M

apache-spark apache-spark-sql distributed-computing unix-timestamp bigdata 2016-09-01

---

0熱

1答えて

Analyticsをし、検索地理空間データ（ビッグデータ）は、私の会社で

は、私たちは、モバイルGPSからのジオロケーションデータの大きな量を保存しようとしています。 要件は以下のとおりです。 1）少なくとも6ヶ月間、当社のデータベースにこれらのデータを維持することができるように（歴史） 2）クライアントがリアルタイムに検索クエリを実行することができます。それは、我々はこれらの6ヶ月で古いポイントの良い平均を持つことができるために、データやポイントのパスを解析することが

mongodb hadoop elasticsearch cassandra bigdata 2016-09-02

---

-1熱

1答えて

グループでカウントを抽出するためのJavaRDDクラスの使い方は？

JavaRDDクラスを使用してusernameとcount（各ユーザーが各イベントを何回実行したか）を抽出します。私はJavaRDDオブジェクトの作り方を知らない。ここで は私のデータからスナップショットです： { "_id" : ObjectId("57b3e6d1cab823158a06cafe"), "app" : { "clientIp" : "111.0

java mongodb hadoop apache-spark bigdata 2016-09-02

---