Apache-Spark-SQLを使用してデータベースにアクセス

Question

こんにちは、私は、Apacheの新しい学習者です。 これは正しい方法ですか？ このコードは動作していますが、パフォーマンスは非常に低速です。どのループが各ループのデータにアクセスするのに最適なアプローチか分かりません。

Dataset<Row> javaRDD = sparkSession.read().jdbc(dataBase_url, "sample", properties); 

javaRDD.toDF().registerTempTable("sample"); 

Dataset<Row> Users = sparkSession.sql("SELECT DISTINCT FROM_USER FROM sample "); 

List<Row> members = Users.collectAsList(); 

for (Row row : members) { 

Dataset<Row> userConversation = sparkSession.sql("SELECT DESCRIPTION FROM sample WHERE FROM_USER ='"+ row.getDecimal(0) +"'"); 
userConversation.show(); 

} 

Answer 1

あなたは一度だけのDB接続に必要なオーバーヘッドを支払うので、あなたが唯一のクエリを実行し、この方法は、すべてのユーザーとのセットを作成し、

sparkSession.sql("SELECT DESCRIPTION FROM sample WHERE FROM_USER IN usersSet); 

のようなクエリを実行してみます。

Spark over HDFSを実行し、これが1回限りのクエリである場合のもう1つの方法は、Sqoopのようなツールを使用してHadoopでSQLテーブルをロードし、Sparkでネイティブにデータを使用することです。