PHP datastaxドライバ - 大きなデータセットをインポート

Question

Cassandraデータベースに大きなxlsx（100万行近く）のファイルを挿入する必要があります。メモリの制限のため、ファイルの作成方法に疑問があります。

バッチインサートを使用していますが、メモリに大きな影響を与えるため、不可能に近いことが証明されています。

$batch = new Cassandra\BatchStatement(Cassandra::BATCH_UNLOGGED); 

    foreach ($workbook->createRowIterator($myWorksheetIndex) as $rowIndex => $values) { 

     if ($count > 0) { 

      $time = is_int($values[3]) ? $values[2]->format('d-m-Y') . ' ' . date('00:00:00') : $values[2]->format('d-m-Y') . ' ' . $values[3]->format('H:i:s'); 
      $date = date_convert(DateTime::createFromFormat('d-m-Y H:i:s', $time)); 


      $prepared = $session->prepare(
       "INSERT INTO teste (ptd_assoc,ref_equip,dates) " . 
       "VALUES (?, ?, ?)" 
      ); 

      $batch->add($prepared, array(
       'ptd_assoc' => $values[0], 
       'ref_equip' => $values[1], 
       'dates' => new Cassandra\Timestamp(strtotime($date)), 
       // 'load' => 3.4454 
      )); 
     } 

     $count++; 
    } 

    $session->execute($batch); 

xlsxをより読みやすいcsvファイルに変換できました。 Cassandra\SimpleStatementメソッドを使用してデータベースにCopyすることは可能ですか？

Answer 1

データの形式がCSVの場合、カスタムインポータを作成する必要はありません。 cqlshCOPY FROMコマンド（help copy;）を見てください。