非常に大きなデータセットをarangoDBにインポートする際にエラーが発生しました

Question

私は巨大なデータセットをarangoimp経由でArangoDBにインポートしようとしています。これは約5500万のエッジです。私はwal.logファイル（32kから1024kに--wal.logfile-size）のサイズを増やすことを懐疑的に思っています。これは最後のエラーを解決しました。

WARNING {collector} got unexpected error in MMFilesCollectorThread::collect: no journal 
ERROR cannot create datafile '/usr/local/var/lib/arangodb3/databases/database-1/collection-2088918365-385765492/temp-2153337069.db': Too many open files 

Importstatementだった：しかし、今、私は次のエラーを取得するarangoimp --file links_de.csv --type csv --collection links

よりiterativチャンクか何かをやっようarangoimp仕事をさせるための方法はありますか？ CSVを分割するのはかなり複雑なので、そのサイズのためにいくつかの部分があります。

ありがとう！

Answer 1

私はついにそれを解決しました： Too many open filesヒントでした。開いているファイルハンドルの制限を引き上げる必要があります。したがって、unix/mac osでarangoを起動する前に、ulimit -n 16384以上を実行してこのシェルセッションの制限を上げてください。その後、輸入には数時間かかりましたが、私のために働きました。また、必要なファイルハンドルの数を減らすために、arangoのコレクションのジャーナルサイズを増やすこともできます。

も参照してください。ArangoDB Too many open files