2017-05-10 10 views
-1

Excelファイルを読み込み、xssfを使用してcsvファイルに書き込もうとしています。メモリ不足が発生しています(ヒープスペース)。私はFileInputStreamのは、メモリ管理のために良いことがわかり、それでも私はあなたがこのようなあなたのJavaプロセスで使用可能なヒープメモリ(ここでは、私は1024メガバイトにそれを増やす)の最大サイズを設定することができ、問題にJava FileInputStreamメモリ不足問題​​

package xlsxtocsv; 
import java.io.File; 
import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.FileOutputStream; 
import java.io.IOException; 
import java.util.Locale; 
import org.apache.poi.ss.usermodel.DataFormatter; 
import org.apache.poi.xssf.usermodel.XSSFRow; 
import org.apache.poi.xssf.usermodel.XSSFSheet; 
import org.apache.poi.xssf.usermodel.XSSFWorkbook; 

public class xlsxtocsv 
{ 

    private static final String NEW_LINE_CHARACTER="\r\n"; 

    /** 
    * Write the string into a text file 
    * @param csvFileName 
    * @param csvData 
    * @throws Exception 
    */ 
    private static void writeCSV(String csvFileName,String csvData) throws Exception{ 
     FileOutputStream writer = new FileOutputStream(csvFileName); 
     writer.write(csvData.getBytes()); 
     writer.close(); 
     System.out.println("Sucessfully written data to "+csvFileName); 
    } 


    public static void excelXToCSVfile(String excelFileName,String csvFileName,String Field_Delimiter,int Sheet_Number) { 
     checkValidFile(excelFileName); 
     XSSFWorkbook myWorkBook; 
     try { 
      myWorkBook = new XSSFWorkbook(new FileInputStream(excelFileName)); 

      XSSFSheet mySheet = myWorkBook.getSheetAt(Sheet_Number); 
      String csvData=""; 
      DataFormatter formatter = new DataFormatter(Locale.US); 
      checkValidFile(excelFileName); 

      int rows = mySheet.getPhysicalNumberOfRows(); 
      String prefix="\""; 

      for (int eachRow = 0;eachRow<rows;eachRow++) { 
       XSSFRow myRow = (XSSFRow) mySheet.getRow(eachRow); 
        for (int i=0;i<myRow.getLastCellNum();i++){ 
         if(i==0) 
         { 

          csvData += prefix+formatter.formatCellValue(myRow.getCell(i))+prefix; 

         } 
         else 
         { 
          csvData += Field_Delimiter+prefix+formatter.formatCellValue(myRow.getCell(i))+prefix; 

         } 


        } 
        csvData+=NEW_LINE_CHARACTER; 
      } 




       try { 
        writeCSV(csvFileName, csvData); 
       } catch (Exception e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
       } 

     } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
     } catch (IOException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
     } 



     } 


    /** 
    * get Cell value from XLSX file column 
    * @param myCell 
    * @return 
    * @throws Exception 
    */ 

     private static void checkValidFile(String fileName){ 
     boolean valid=true; 
     try{ 
      File f = new File(fileName); 
      if (!f.exists() || f.isDirectory()){ 
       valid=false; 
      } 
     }catch(Exception e){ 
      valid=false; 
     } 
     if (!valid){ 
      System.out.println("File doesn't exist: " + fileName); 
      System.exit(0); 
     } 
    } 
    public static void main(String[] args) throws Exception 
    { 
     String inp_file_name=""; 
     String Output_file_name=""; 
     String delimiter=","; 


     //inp_file_name=args[0];  
     //Output_file_name=args[1]; 

    enter code here 
     //delimiter=args[2]; 


     inp_file_name="C:/Users/xxx/Desktop/cloudera_shared/test_data.xlsx"; 
     Output_file_name="C:/Users/xxx/Desktop/cloudera_shared/test_data.csv"; 
     delimiter="|"; 



    if(args.length==4 && (args[3].equals("") == false)) 
    { 

     int Sheet_Number=Integer.parseInt(args[3]); 
     excelXToCSVfile(inp_file_name,Output_file_name,delimiter,Sheet_Number); 


    } 
    else 
    { 

     excelXToCSVfile(inp_file_name,Output_file_name,delimiter,0); 
    } 

    } 

} 
+0

いつも安全なfinallyブロックの 'fileinputstream'を閉じるとします。この[post](http://stackoverflow.com/questions/22889075/do-unclosed-streams-cause-memory-leaks-in-java)を参考にすると参考になるかもしれません。 –

+0

_ "' fileinputstream'はメモリ管理に適しています。 " 2つの概念は無関係です。また、なぜあなたは既にExcelが何を複製していますか? ExcelはxlsファイルからCSVを書くことができます。 –

+0

writeCSVメソッドを実行するときのCsvDataの長さは? – dabaicai

答えて

0

を参照してください。

java -Xmx1024m -jar myProgram.jar 

java -Xを実行すると、利用可能なさまざまなオプションが表示されます。

プログラムがプロファイラで実行され、どの部分がメモリを消費しているかがわかります。私はあなたのコードを越えた問題提案することができます

+0

私は3000mでも試してみましたが、FileOutputStream writer = new FileOutputStream(csvFileName)でメモリが不足しているとは言いませんでした。 – Peter

+0

あなたのExcelファイルはどれくらいですか? – Matt

+0

それはちょうど35メガバイトで、私のシステムは16ギガバイト – Peter

0

  1. String csvDataStringBuffer csvDataに置き換えてください。
  2. あなたは
  3. あなたは2つのタスクを実行するためにマルチスレッドを使用することができますFileOutputStream(nameFile, true)(セットAPPENDが真である)を宣言することができます

    • まず:あなたのファイルは、Excelからコンテンツをお読みください。
    • 2つ:読み込まれたばかりのコンテンツを書き込みます。
関連する問題