Pythonを使ってMySQLからSolrの完全なデータ・インポートを設定して実行するには？

Question

pythonとmysqlを使って、完全にインポートまたはデルタインポートをプログラムで実行する必要があります。私はjavaのプロセスを認識しています。

CommonsHttpSolrServer server = new CommonsHttpSolrServer("http://localhost:8983/solr"); 
ModifiableSolrParams params = new ModifiableSolrParams(); 
params.set("command", "full-import"); 
QueryRequest request = new QueryRequest(params); 
request.setPath("/dataimport"); 
server.request(request); 

私はこれをPythonで実装しようとしています。あなたはこれをサポートするpythonまたは任意のsolr python apiで同等のコードを提案できますか？

Answer 1

DataImportHandlerは単一のHTTP要求をトリガーして起動します。Javaの例は、SolrJパッケージを使用してそれを行う方法に過ぎません。

あなたが urllib.requestを使用してこれを行うことができますネイティブのpython3で

：python2同じ機能で

import urllib.request 
urllib.request.urlopen('http://localhost:8983/solr/collection/dataimport?command=full-import') 

はurllib2の下で提供されています：

import urllib2 
urllib2.urlopen('http://localhost:8983/solr/collection/dataimport?command=full-import') 

それともrequestsライブラリを使用している場合（これはpip install requestsからインストール可能）：

import requests 
requests.get('http://localhost:8983/solr/collection/dataimport?command=full-import') 

Answer 2

いくつかのPython APIがありますが、インデックス作成にjsonを使用できるため、mysolr（http://mysolr.readthedocs.io/en/latest/user/userguide.html）を使用しています。

from mysolr import Solr 

    ## For full index, delete all data after final commit: 
    solr.delete_by_query('*:*', commit=False) 

    solr = Solr("http://localhost:8983/solr/collection", version=4) 
    documents = [ 
     {'id' : 1, 
     'field1' : 'foo' 
     }, 
     {'id' : 2, 
     'field1' : 'bar' 
     } 
    ] 

    solr.update(documents, 'json', commit=False) 
    solr.commit() 

あなたは、一度に1000のレコードのように照会し、それらのリスト（上記の「ドキュメント」）を作成し、Solrのインデックスに送信することができます。それで終了したら、コミットしてください。完全なクエリの場合は、コミットせずにすべてのデータをクリアすることができ、最後のコミットを行うと古いデータは削除されます。