2017-08-23 17 views
2

私はH2O(pythonパッケージ)の初期のスターターです。私の問題は、パンダのデータフレームからH2OFrameをどのように作成できるかを理解できないことです。python 3.x:H2OFrameクラッシュ - パンダデータフレームの解析

私の環境は次のとおりです。

  • のWindows 10のホームは、
  • のJava SE Development Kitの8u144(64ビット)
  • のJava SEランタイム環境(1.8を構築16,0 GBのメモリと、15063.540を構築します.0_144-B01)
  • アナコンダのPython 3.5.4

I)は、(h2o.initでサーバーを開始しました:

H2O cluster uptime: 19 hours 14 mins 
H2O cluster version: 3.14.0.1 
H2O cluster version age: 12 days 
H2O cluster name: H2O_from_python_pedro_23i63g 
H2O cluster total nodes: 1 
H2O cluster free memory: 3.456 Gb 
H2O cluster total cores: 4 
H2O cluster allowed cores: 4 
H2O cluster status: locked, healthy 
H2O connection url: http://localhost:54321 
H2O connection proxy: None 
H2O internal security: False 
H2O API Extensions: Algos, AutoML, Core V3, Core V4 
Python version: 3.5.4 final 

私はtrain1パンダは、次のコマンドを使用してデータフレームからの私のH2OFrameを作成しようとしています:

hf1 = h2o.H2OFrame(train1) 

クラッシュ情報:

OSError: Job with key $03017f00000132d4ffffffff$_8ef7ebc5204725b046d7b31ca7194c71 failed with an exception: DistributedException from /127.0.0.1:54321: 'null', caused by java.lang.AssertionError 
stacktrace: 
DistributedException from /127.0.0.1:54321: 'null', caused by java.lang.AssertionError 
    at water.MRTask.getResult(MRTask.java:478) 
    at water.MRTask.getResult(MRTask.java:486) 
    at water.MRTask.doAll(MRTask.java:402) 
    at water.parser.ParseDataset.parseAllKeys(ParseDataset.java:245) 
    at water.parser.ParseDataset.access$000(ParseDataset.java:26) 
    at water.parser.ParseDataset$ParserFJTask.compute2(ParseDataset.java:194) 
    at water.H2O$H2OCountedCompleter.compute(H2O.java:1255) 
    at jsr166y.CountedCompleter.exec(CountedCompleter.java:468) 
    at jsr166y.ForkJoinTask.doExec(ForkJoinTask.java:263) 
    at jsr166y.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:974) 
    at jsr166y.ForkJoinPool.runWorker(ForkJoinPool.java:1477) 
    at jsr166y.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:104) 
Caused by: java.lang.AssertionError 
    at water.parser.Categorical.addKey(Categorical.java:41) 
    at water.parser.FVecParseWriter.addStrCol(FVecParseWriter.java:133) 
    at water.parser.CsvParser.parseChunk(CsvParser.java:126) 
    at water.parser.ParseDataset$MultiFileParseTask$DistributedParse.map(ParseDataset.java:888) 
    at water.MRTask.compute2(MRTask.java:637) 
    at water.MRTask.compute2(MRTask.java:591) 
    at water.MRTask.compute2(MRTask.java:591) 
    at water.MRTask.compute2(MRTask.java:591) 
    at water.MRTask.compute2(MRTask.java:591) 
    at water.MRTask.compute2(MRTask.java:591) 
    at water.MRTask.compute2(MRTask.java:591) 
    at water.H2O$H2OCountedCompleter.compute1(H2O.java:1258) 
    at water.parser.ParseDataset$MultiFileParseTask$DistributedParse$Icer.compute1(ParseDataset$MultiFileParseTask$DistributedParse$Icer.java) 
    at water.H2O$H2OCountedCompleter.compute(H2O.java:1254) 
    ... 5 more 

しかし、私が試しました最初の6行のパンダのデータフレームを使用してH2OFrameを作成すると、 ll。

hf1 = h2o.H2OFrame(train1.loc[:6,:]) 
[out] Parse progress: |█████████████████████████████████████████████████████████| 100% 

しかし、私はこれらの6行(例えば7行)以上にしようとすると、それは前回のクラッシュ先で再び失敗します。この中に間違っている可能性が何

hf1 = h2o.H2OFrame(train1.loc[:7,:]) 
[out] Parse progress: | (failed) 

ありがとうございます。

ペドロ

答えて

0

を追加しました:

h2o.cluster().shutdown() 

と私の問題を修正しました。間違っているかもしれませんが、私はRAMの不足が私の問題だと思うので、以前のクラスタのシャットダウンが助けになりました。

解決策を私自身の問題について考えましたが、私はこれをここに残して、残りの人たちが同じ問題を抱えるよう助けることができます。