bigdata

-1熱

1答えて

なぜこれらのPy4JJavaError showStringエラーがpysparkを使用してSparkデータフレームに参加していますか？

私はpysparkを使ってSparkでデータフレームに参加しようとしています。これらの二つのデータフレームは、（そのうちの一つが5ギガバイト以上のものです）かなり大きく、私は以下のエラーを得続ける： --------------------------------------------------------------------------- Py4JJavaError Tr

0熱

1答えて

複数の製品間の複数の相関関係を計算する

私は過去の注文と販売に関して、新しい注文ごとに推奨モデルを作成するためにそれを行いたいいくつかのアイテム間の相関関係を取得したい選択された製品と他のもの）、私はこの相関関係を得るためのアイディアを持っています。私のデータをピボットするクエリを作成して、アイテムの総量をすべてのオーダーにして、アイテム間の相関を計算します。 Excelシートがすでに添付されています私のケースのサンプルデータがあります

0熱

1答えて

データがkafkaサーバーにプッシュされたらソースからデータを削除

Oracleデータベースからデータを取得するために、コンフルエントなプラットフォーム3.3を使用しています。データがkafkaサーバーにプッシュされたら、取得したデータをデータベースで削除する必要があります。これを行う方法はありますか？提案してください。

2熱

1答えて

Pandasを使ってPythonで大きなSQLクエリを処理していますか？

Python、psycopg2、Pandasを使用してPostgresデータベースから取得するデータをバックテストしたいと思います。 Postgresから引き出されるデータは非常に大きい（10Gbs以上） - 私のシステムでは、Pandasデータフレームがこの多くのデータを保存することができても、RAMに関してこれを保持することはできません。 1：リモート（LANベース）Postgresデータベー

1熱

2答えて

Pig

で列単位で重複を削除するにはどのように私のCSVファイルから古いレコードを削除し、最近のレコードを豚を使用して保持するのに役立ちます。 EX：入力キー1のSTAのDATE XXXXX P38 17-10-2017 XXXXX P38 2017年12月10日 YYYYY P38 2017年11月10日 YYYYY P38 23-09-2017 YYYYY P38 14-09-2017 ZZZZZ

0熱

2答えて

給与が彼の部署の平均よりも大きい従業員の氏名と部署を取得するにはどうすればいいですか？

私はハドープとブタの初心者です。質問ごとに以下のスクリプトまで掘り下げることができましたが、私は人の給料と彼の部の平均給与をどうやって比較することができますか？以下は各部門の平均給与を取得するために書かれたスクリプトです A = LOAD 'Assignment_1_Input.log' USING PigStorage('\t') as (id:int,name:chararray,age:in

0熱

1答えて

のpythonパンダ

私は、ディスクの中にではなく、メモリに収まる大きなデータセットを処理しようとパンダとHDFStore でのpython 2.7を使用しています。大きなサイズのデータセットを.h5ファイルに保存すると、各列のデータサイズは一定ではありません。たとえば、1つの列には5行の文字列と1行の文字列があります。別の最初の繰り返しに小さいサイズのデータが含まれ、次のバッチに大きなサイズのデータが

0熱

1答えて

Apacheはオートスケーリング特性をスパーク - 、</p> <p>は、メモリへのデータの10ギガバイトを読んで、そしてちょうどフィルタリングを行う、のは言わせ、スパークプログラムの実行中にフライ

にマップを労働者を追加し、他に保存しますストレージ。このプログラムが最終的に10GBの代わりに1TBを悩ます必要がある場合は、負荷に基づいてクラスタを自動スケールすることができますか？たとえば、プログラムにWorker Nodesを追加することはできますか？これが可能な場合はどうすればできますか？

-4熱

1答えて

与えられた点で関数をどのように予測できますか？

私は多くのポイント（X、Y）を持っている場合Y = f(X) = b0 + b1X + b2X^2 + .. + bkX^k. b0, b1, ..., bkとkをどのように計算できますか？

0熱

1答えて

Hadoop MapReduce用クラスタシミュレータ

私はHadoop MapReduce Javaアプリケーション（ドライバ、マッパー、Reducers、...）をテストするためのクラスタシミュレータを探しています。各仮想ノードのタスクの実行であるHDFSをシミュレートできるものがありますか？私はパフォーマンスにはあまり関心がありません。Intel Core i7と16GBのRAMを搭載しているので、小さなクラスターをシミュレートするのに十分で