Google openrefineに大きなcsvファイルがロードされない

Question

プロジェクトを作成しようとすると、私は25500行（400MB）のローのcsvファイルをロードして にアップロードし、それをアップロードしません。 それは私がrefine.iniと固定メモリの制限を開いたが、何の結果、私は何をすべき

NOTE: This file is not read if you run the Refine executable directly 
# It is only read of you use the refine shell script or refine.bat 

no_proxy="localhost,127.0.0.1" 
#REFINE_PORT=3334 
#REFINE_HOST=127.0.0.1 
#REFINE_WEBAPP=main\webapp 

# Memory and max form size allocations 
#REFINE_MAX_FORM_CONTENT_SIZE=104857600 
REFINE_MEMORY=100000M 

# Set initial java heap space (default: 256M) for better performance with large datasets 
REFINE_MIN_MEMORY=100000M 

# Some sample configurations. These have no defaults. 
#ANT_HOME=C:\grefine\tools\apache-ant-1.8.1 
#JAVA_HOME=C:\Program Files\Java\jdk1.6.0_25 
#JAVA_OPTIONS=-XX:+UseParallelGC -verbose:gc -Drefine.headless=true 
#JAVA_OPTIONS=-Drefine.data_dir=C:\Users\user\AppData\Roaming\OpenRefine 

# Uncomment to increase autosave period to 60 mins (default: 5 minutes) for better performance of long-lasting transformations 
#REFINE_AUTOSAVE_PERIOD=60 

がない？100% 1037 mb を示し、

Answer 1

私が行って公開したhttps://groups.google.com/d/msg/openrefine/-loChQe4CNg/eroRAq9_BwAJのテストに基づいて、350万行を処理するには、合理的に応答性の高いプロジェクトを作成するために、約8GbのRAMを割り当てる必要があります。

OpenRefine changing the port and host when executable is run directlyに記載されているように、オプションを設定するWindowsでOpenRefineを実行する場合は、exeファイルまたはbatファイルを使用してOpenRefineを起動するかどうかによって異なります。

4Gb以上のRAMを割り当てるには、64ビットのJavaバージョンを使用する必要があります。実行中のJava OpenRefineのバージョン（JAVA_HOMEで指定されたJavaを使用します）を確認してください。しかし、64ビットOS上の32ビットJavaで4Gbを割り当てる問題が発生することがあります（Maximum Java heap size of a 32-bit JVM on a 64-bit OS参照）