bigdata

2熱

1答えて

私はUnity3dプラットフォームを使って子供たちのためのゲームを開発しています。私のゲームにはたくさんの写真や画像があります。私がゲームをロードするとき、私は約50,000文字列のハッシュセットを使用しています。各文字列は、私がプレイヤーが見たいと思っている各画像の単語です。ゲームのローディング時間を最小限に抑えるにはどうすればよいですか？現在、何もせずにゲームを開くのに約20秒かかります。

0熱

1答えて

ビッグデータとウェブ解析を始めるにあたって

私は現在ビッグデータ解析とウェブ解析を研究していますが、どのように、どこから始めればいいのか分かりません。私はインターネットを見てみましたが、いくつかは私にとって前進しています。このルートに行く前にまず必要なスキル、統計、数学の知識はありますか？私は現在、平日にアソシエイトソフトウェアエンジニアとして働いており、Rのようなビッグデータに必要なプログラミング言語を実践しているので、週末ごとにオンラ

0熱

1答えて

複数のマッパーの結果をHadoopのリデューサでソート

私はMRプログラムの入力として複数の非常に大きなファイル（ほぼ500MB）を持っています。これらのファイルを同じサイズのパーティションに分割（分割）します。マッパーでキー=（ファイル名、パーティション番号）とValue =（パーティションの文字ストリーム）私が値（文字列）にいくつかの計算を適用しています：それぞれのマッパーは、ファイルマッパーの単一のパーティションを取得します。入力ファイル

1熱

1答えて

ZooKeeperサーバを交換する

現在の3台のZooKeeperサーバを3台の新しいZooKeeperサーバに置き換えたい。変数に新しい動物園を追加、Ambariに新しい動物園：私が追加した hbase.zookeeper.quorum ha.zookeeper.quorum zookeeper.connect hadoop.registry.zk.quorum yarn.resourcemanager.zk-address

-1熱

1答えて

RStudioで大容量ファイルを扱うことができません

私は、RやPythonを使用して分析を行うために必要な1.3 GBのtsvデータファイルを持っています。私のマシンには8 GBのRAMがあり、それはWindows 8を実行しています。私はRStudioやファイルを読んでアプリケーションを読み込むことができません。ファイルを読み込んで作業することをお勧めしますか？私はhadoopでAmazonに移動すべきですか？これは私のような大きなデータ問題です

0熱

1答えて

スパークではどのようにロールマンを書いていますか？

私はSparkを使って新しいです。私は巨大なtimeseriesに対処しなければなりません。ベンチマークのために、私はロールメーンのいくつかの実装を比較する必要があります。 numpyの反復モードでは、実際に高速です（1,000,000ポイントで0.055970s、window = 3）。私は、ロール・マンの新しいcomer-in-pysparkバージョンを書いて、結果は恐ろしいものです（同じベク

0熱

1答えて

sparkストリーミングジョブでbroadcast_1のbroadcast_1_piece0を取得できませんでした

私はクラスタモードで糸にスパークジョブを実行しています。仕事はカフカの直接の流れからのメッセージを得る。私はブロードキャスト変数とチェックポイントを30秒ごとに使用しています。私が最初に仕事を始めたとき、それは何の問題もなくうまくいく。私は仕事を殺し、再起動する場合は、カフカからのメッセージを受信すると、エグゼキュータに例外を下回るスロー： java.io.IOException: org.apa

3熱

1答えて

CSVをORCに変換する際の例外

入力をCSV形式で行い、ORC形式で書き込みを行い、NullPointerException例外に直面するmapreduceプログラムを作成しようとしています。以下は私は、次の java.lang.Exception: java.lang.NullPointerException at org.apache.hadoop.mapred.LocalJobRunner$Job.run(Lo

1熱

1答えて

Python mrjob mapreduce入力ファイルを前処理する方法

mapreduceに入れる前に特定のノードを抽出するためにXMLファイルを前処理しようとしています。私は、次のコードを持っている： from mrjob.compat import jobconf_from_env from mrjob.job import MRJob from mrjob.util import cmd_line, bash_wrap class MRCountLine

0熱

1答えて

Impala：impalaでマテリアライズドビューを作成する方法は？

Impalaでマテリアライズド・ビューを作成できますか？そうでない場合は、ビューのパフォーマンスを向上させるための代替ソリューションは何ですか。