bigdata

5熱

1答えて

cassandraテーブルからデータをストリームする方法は？

リアルタイムで更新されるcassandraテーブルからデータをストリーミングしたいと思います。はい、それはデータベースですが、それを行う方法はありますか？もしそうなら、私はオフセットを保持するか、CQLのクエリを使用できますか？

cassandra streaming spark-streaming spring-xd bigdata 2016-02-29

---

7熱

1答えて

Kinesisスパークストリーミング受信機のチェックポイントの動作

AWS Kinesisストリームに接続されたSpark Streamingを使用して、受信しているメトリックを集計し、その集約をinfluxdbに書き込んで利用できるようにしますリアルタイムのダッシュボード。 すべてうまくいっていますが、システムの展開や最終的な障害の中断をどのように管理するべきか検討中です。 ドキュメントでは、Kinesis統合ライブラリはすでに障害やチェックポイントなどのために

apache-spark streaming amazon-kinesis bigdata 2016-03-10

---

2熱

4答えて

非常に大量のデータを複数回Java InputStreamから読み取る

Java InputStreamからバイトを読み込み、ストリームが非常に大きい場合でも効率的な方法が何であるか知りたいと思います。 doStuff1、doStuff2とdoStuff3すべて同じバイトで作業する必要があるが、別のことを行う public void handleBytes(InputStream in) { doStuff1(in); doStuff2(in);

java inputstream bigdata 2016-03-18

---

1熱

1答えて

パイソン（pyspark）エラー=とValueError：float型に文字列を変換できませんでした：「17」

を私はスパークでPythonと協力し、その最初の数行です.csvファイルから私のデータセットを読んでいます： 17 0.2 7 17 0.2 7 39 1.3 7 19 1 7 19 0 7 私はこのエラーを取得する # Load and parse the data def parsePoint(line): values = [float(x) for x in lin

python apache-spark type-conversion bigdata 2016-03-20

---

0熱

2答えて

はのNeo4jデータベース内のレコードごとにタイマーを実装したい

更新： 私は何を探していますが、私が望むよう仕事をする自動トリガ機構のいくつかの種類があります。 ユースケース： ポストのスコアに基づいてランク付け。投稿の合計得点は、a）この投稿のスコアプラスb）すべてのコメントのスコアの合計です。 aとbはいずれも初期スコアが10で、作成から24時間ごとに0になるまで1ポイント減少します。投稿の合計スコアが0になると、それ以降は非アクティブとみなされ、ランクか

timer neo4j bigdata nosql 2016-03-20

---

0熱

2答えて

Apache Storm InvalidTopologyException

MainTopologyクラスのランタイム中にエラーが発生していますが、行番号にエラーが表示されます。 24私は理解できませんでした。 メインクラスは次のとおりです。 package streamPostsCount; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtyp

java apache-storm bigdata 2016-03-21

---

4熱

1答えて

スパークは、私は、次のコマンドを使用してHDFSに寄木細工のファイルを書いています寄木細工

とHDFSのパーティショニングを活用していない val file = sqlContext.read.parquet(folder) val data = file.map(r => Row(r.getInt(4).toString, r.getString(0), r.getInt(1), r.getLong(2), r.getString(3))) val filteredDa

hadoop apache-spark hdfs parquet bigdata 2016-03-21

---

2熱

1答えて

スパークストリーミングを使用してcassandraで最新のデータをストリーム

外部ソースからのデータをcassandraに書き込んでいます。 val cassandraRDD = ssc.cassandraTable("keyspace2", "feeds") は、テーブル全体のデータを取ります ​​ ただし、次の行：今 、私は継続的に次のコードでカサンドラからこのデータを読み取るために、スパーク・ストリーミングを使用しています毎回カサンドラから。今すぐ最新のデータをテーブ

scala apache-spark cassandra spark-streaming bigdata 2016-03-21

---

0熱

1答えて

Hiveで（あまりにも多くの）パーティションの問題を解決するには

単一のテーブルに複数のパーティションがある場合、どのような問題が発生しますか？私は7から8年のデータが含まれているハイブに履歴テーブルを作成する予定です。また、日付キーを使用してテーブルを分割する予定です。この場合、私のテーブルには約2500〜3500のパーティションがあります。パーティション上でこれが私のnamenodeとdatanodeに問題を引き起こしますか？各エントリのパーティションエント

hadoop hive bigdata 2016-03-21

---

1熱

1答えて

接続がquickstart.clouderaを拒否：8020

私はターミナルでこれを実行しようとClouderaの-クイックスタートに5.5.0のvirtualbox を使用しています。以下のように、例外があります。私はインターネット上でこれを解決するための解決策を探し出し、何かを見つけました。 1）core-site.xmlファイルを設定しています。 https://datashine.wordpress.com/2014/09/06/java-net-c

hadoop mapreduce cloudera bigdata 2016-03-21

---