sparkを使用してハイブデータにアクセスする方法

Question

テーブルをハイブにテキストファイルとして保存し、sparkを使用してアクセスしたいとします。私は

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

を使用して、SQLコンテキストオブジェクトを設定している

1. まず、私は表Iは

   を使用してテキストファイルの内容をロードしようとしていたさらに

   scala>sqlContext.sql("CREATE TABLE IF NOT EXISTS employee(
   id INT, name STRING, age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY 
   ',' LINES TERMINATED BY '\n'") 
   

2. を作成しました

   scala> sqlContext.sql("LOAD DATA LOCAL INPATH 'employee.txt' INTO TABLE employee") 
   

私は火花シェルはそれを行う方法を実行している現在のディレクトリにテキストファイルを配置する必要がある場合、私は

SET hive.support.sql11.reserved.keywords=false 
FAILED: SemanticException Line 1:23 Invalid path ''employee.txt'': No files 
matching path file:/home/username/employee.txt 

としてエラーを取得していますか？

Answer 1

hadoopでハイブを実行していますか？ 絶対パスを使用しようとしています...これがうまくいかない場合は、ファイルをhdfsにロードして、ファイルへの絶対パス（hdfsの場所）を与えてみてください。 [*]

は、ロードファイル 例：用のファイルのフルパスをローカル付け--master火花シェル：ファイル

Answer 2

以下のローカルモード例：で

• スタート火花シェルステップやってみ：///home/username/employee.txt