bigdata

2熱

2答えて

Java Spark RDDで標準偏差と平均操作を実行するにはどうすればよいですか？

私は私の結果はになりたい、このようになりますJavaRDDを持って [ [A,8] [B,3] [C,5] [A,2] [B,8] ... ... ] は、私が唯一のJava RDDSを使用して、これをどのように行うのです [ [A,5] [B,5.5] [C,5] ] を意味します。 P.S：私はgroupBy操作を避けたいので、私はDataFramesを使用し

4熱

1答えて

外部ハイブテーブルの場所に対する書き込み権限が必要なのはなぜですか？

ハイブでは、管理対象と外部の2種類のテーブルを作成できます。管理対象テーブルの場合、データを所有しているため、テーブルを削除するとデータが削除されます。外部テーブルの場合、データの所有権がないため、このようなテーブルを削除すると、その下位のデータは削除されません。メタデータのみが削除されます。最近、HDFSで書き込み（変更）権限を持たない場所に外部テーブルを作成できないことが最近わかりました

4熱

2答えて

マップ内の.csvの最初の行をスキップするreduce java

マッパー関数はすべての行で実行されるため、最初の行をスキップする方法を知ることはできますか。いくつかのファイルについては、私が無視したいカラムヘッダーで構成されています

0熱

1答えて

大きい（1.7gig）csvファイルを使用したPythonでのデータクリーンアップ

私はPythonを使用していくつかのデータをクリーンアップしようとしています。 (1 - 2gigs) csvのファイルをいくつかの属性（日付、時刻など）で並べ替えてから、別のcsvファイルをこの情報とともにExcelで使用できるようにするために出力するファイルがあります。行を繰り返していくうちに、いくつかの大きなメモリの問題が発生します。最初は私のコードを実行しない32ビットのアイドルを使用し

1熱

1答えて

Hadoop Cluster WebUIでジョブ履歴を取得するために、すべてのノードで履歴サーバーを実行する必要があります。

Hadoopクラスタで1つの問題が発生しています。私は、5つのデータノードと1つのエッジ/ゲートウェイノードを持つHadoopクラスタを持っています。私の問題は、それらの各ノード（1つのnamenodeと5つのdatanodes）で履歴サーバーを起動して、送信されたジョブのhadoop webUIからジョブ履歴を取得しなければならないことでした。 mapred-site.xmlにmapreduc

1熱

2答えて

大きなデータ、どのように巨大なXMLファイルを高速に解析するのですか？

私はxml formatにある巨大な聖書のデータを持っています。私はアンドロイドの聖書のアプリケーションを作っています。しかし、私のデータは非常に巨大であるように感じます。私の研究では、xmlパーサーが必要なタグを取得するまでファイル全体を解析することを読んでいます。誰もがすべてのデータを解析する、より簡単で高速な方法を知っていますか？

0熱

1答えて

NLPを使用してチェックインとコメントから情報を抽出する

私たちはCS学生で、私たちはGPのための推奨システムに取り組んでいます。データセットにはユーザーと訪問した場所が含まれていますので、NLPを使用してその場所をアクティビティに変換します。 ex。（モール - >ショッピング、クラブ - >遊ぶ...）など。また、ユーザーがコメントを書き留めている場合、ユーザーはどのような活動をしているのか分かります。私たちはこの時点でちょっと迷っています。

-3熱

1答えて

（Mysql、SQLサーバー、Oracleなど）とHadoop Big Data Analyticsの違いは？

一般的に使用されるデータベース（MySQL、SQL Server、Oracleなど）とHadoop Big Data Analyticsの基本的な相違点と特徴は何ですか？誰でも短くて詳細なフォーマットではないのですか？