RAMの量が多い大規模なネットワーク/グラフを分析する方法

Question

現在のプロジェクトでは、> 300MBの.csvファイルで私に与えられた大規模なタンパク質 - タンパク質相互作用ネットワークを分析する必要があります。 グラフには5百万以上のエッジと数万のノードがあります。

CytoscapeとGephiを使用してデータを読み込んで分析しようとしましたが、どちらもこのサイズのネットワークを処理できないようです。 ファイルをロードしようとした後にCytoscapeが数秒間クラッシュする間、Gephiはメモリ不足になるまで〜50％の負荷を管理します。 （はい、私は最大に-Xmxを設定しました）

私のPCには8GBのRAMがあります。

この時点で、私は自分自身に疑問を持ち始めました。一般的なネットワーク解析ソフトウェアでこのサイズのネットワークを分析することは可能ですか、自分でアルゴリズムを作成して調整する必要がありますか？または、あなたが知っているソフトウェアがありますか？

今のところ、私は必ずしもグラフの可視化を必要としないが、単純な中心性の測定など

私は本当に私の質問があまりにも非特異的ではありません願っています。

ありがとうございます！

Answer 1

Cytoscape.jsとCytoscapeデスクトップ（Java）の両方でヘッドレスモードがサポートされています。

Cytoscape.jsを直接Node.jsで使用し、そのAPIに直接アクセスできます。ちょうどrequire('cytoscape')とあなたは行き​​たいです。 Cytoscape.jsをNode.jsで無人で使用すると、はるかに安価なw.r.t.ビジュアライゼーションと比較して、CPU使用率とRAM。 Cytoscape.jsは、多くの種類の中心性計算をサポートしています。値を計算するのはAPI呼び出しの1つで、Node.js REPLで試してみると簡単です（JSONファイルを書き出すこともできます）。

CytoscapeデスクトップとCyRestを使ってヘッドレスで通信できます。つまり、HTTP/REST要求です。つまり、任意の言語で分析を行うことができますが、すべての作業は非同期であり、一定のシリアル化とデシリアライゼーションが必要です。 Cytoscapeのデスクトップ用のアプリを、ヘッドレスであれば書いてもいいと思います。