bigdata

0熱

1答えて

この例では、数百万のレコードを持つ大規模なスナップショットテキストファイル（tsv、csvなど）をお客様から入手しました。データは次のようになります、私たちは、お客様からのスナップショットを取得するたびに ItemId (unique), Title, Description, Price etc. shoe-id1, "title1", "desc1", 10 book-id-2, "tit

-1熱

1答えて

マップリダクションアルゴリズム

私はこれらの質問に対して適切な答えを理解することはできません。 "私たちの行列 - ベクトル乗算の公式は、行列Mが正方形であると仮定しました。アルゴリズムの一般化は、Mが r行c列のいくつかの行rと列c。 "

-1熱

1答えて

テキストファイルにrddアクションを保存するには？ Scala/Spark

文字列があります。テキストファイルにRddアクションを保存するにはどうしたらいいですか？またはどのようにコンソール、ドライバプログラムでそれを見るに渡す？

0熱

1答えて

Graphframeエラー/

スパーク私はDatabricksにScalaの2.11で、このコード行を書いた： import org.graphframes._ val user_ridotto = sqlContext.sql("SELECT * FROM userRidotto") var users_1 = user_ridotto.select("user_id", "name", "city", "num_f

-1熱

1答えて

キー/値 - 配列のペアを作成するScala/Spark

Scalaでキーと値の配列のペアを作成する方法を教えてください。これは私が値の代わりに配列を必要とすることを意味します。 val newRdd1 = rdd1.flatMap(x=>x.split(" ")) .map({case (key, Array(String)) => Array(String) })

-1熱

2答えて

Amazon Web Services *ネイティブ*はApache Kuduに最も近いものは何ですか？

ネイティブオファー（RDSソリューション、Elastic Cache、Amazon Redshiftなど）を探していますが、自分自身をホストする必要はありません。 Apacheのクーズーから： https://kudu.apache.org/：私はそれを理解したよう Kudu provides a combination of fast inserts/updates and efficient

-3熱

1答えて

非構造化データを使用したデータマイニングの実装方法

私は構造化されていないデータ（アプリケーションのスクリーンショット）と半構造化されたデータ（スクリーンダンプファイル）を持っています。私の目標は、アプリケーション上の不具合や問題（意味のあるデータ）を見つけることです。さて、私はこれらのデータマイニングを適用したい、それはテキストマイニングの一種ですか？このデータに技術的なデータマイニングを適用するにはどうすればよいですか？

4熱

1答えて

テンソルフローで大量のデータを扱うにはどうすればよいですか？

私のプロジェクトでは、大量のデータがあり、約60GBがnpyファイルに広がり、それぞれ約1GBを持ち、それぞれに約750kのレコードとラベルが含まれています。各レコードは345 float32で、ラベルは5 float32です。テンソルフローのデータセットとキュー/スレッドのドキュメントも読みましたが、トレーニングの入力をどのように処理するのか、将来の予測のためにモデルとウェイトを保存する方法

1熱

1答えて

テラバイトサイズのデータ用の大規模なボリュームレンダリングとビジュアライゼーションライブラリ

数ギガバイトから数テラバイトに及ぶ3Dボリュームのデータを視覚化したいと考えています。 1つの解決策は自分自身をロールバックすることですが、これには時間がかかることがあります。これを避けるため、私は現在、現在入手可能な解決策を探しています。私が調べるほど、私が見つけたソフトウェアが増えています。いくつかの例はParaView/VTK、OSPRay、Embree、Splotch、NVIDIA GVD