Spark BigQuery ConnectorとPython BigQueryライブラリ

Question

私は現在、pysparkとipython-notebookを使用しているリコメンダシステムに取り組んでいます。 BigQueryに保存されているデータからおすすめを取得したいSpark BQコネクタとPython BQライブラリの2つのオプションがあります。

これら2つのツールの長所と短所は何ですか？

Answer 1

PythonのBQライブラリは、PythonからBQとやりとりするための標準的な方法であるため、BigQueryのすべてのAPI機能が含まれています。あなたが言及したSpark BQコネクタは、抽象化されたHadoopクラスを使用してBigQueryから読み書きできるJava HadoopライブラリのHadoop Connectorです。これは、ネイティブのHadoopの入出力とどのように対話するかに似ています。

Hadoopコネクタhereの使用例があります。