メモリ内のファイルを照会

Question

私は、メモリにロードしてデータベースとして照会したいコンマ区切りのファイルを持っていますが、多くの概念や名前に出くわしましたが、どれが正しいかはわかりません。組み込みDB、インメモリデータベース（Apache ignite、etc ...）、どうすれば実現できますか？

Answer 1

私はあなたのファイルをロードして、次のように火花-SQLを使用して照会することができ、Apacheのスパークで動作するようにお勧めします：

val df = spark.read.format("csv").option("header", "true").load("csvfile.csv") 
// Select only the "user_id" column 
df.select("user_id").show() 

は、より多くの情報のためlinkを参照してください。あなたがApacheのスパーク1.6バージョンを使用している場合

Answer 2

、あなたのコードは

HiveContext hqlContext = new HiveContext(sparkContext); 

     DataFrame df = hqlContext.read().format("com.databricks.spark.csv").option("inferSchema", "true") 
       .option("header", "true").load(csvpath); 
     df.registerTempTable("Table name"); 

だろう。そして、あなたはテーブルから問い合わせることができます