共通のフィールドを持つリストをマージする最速の方法は？

Question

私はF＃を学んでいます。私は実際にpu理論にオッズ比較サービス（ala www.bestbetting.com）をやっています。

type price = { Bookie : string; Odds : float32; } 

type selection = { 
    Prices : list<price>; 
    Name : string; 
    } 

type event = { Name : string; Hour : DateTime; Sport : string; Selections : list<selection>; } 

だから、私はいくつかのソースから来るこれらの「イベント」のいくつかを持っている： は、これまでのところ私は、次のデータ構造を持っています。そして、同じ名前と時間でイベントをマージする本当に速い方法が必要になり、同じ名前の異なる選択肢の価格をマージすると、それが完了します。

私は最初のリストを取得した後、他のリストに対して1つずつ検索を行い、指定されたフィールドが一致すると、両方のリストを含む新しいリストを返します。

私はパフォーマンスが重要であるため、これを行うより速い方法があるかどうかを知りたいと思います。私はすでにこれを見てきましたMerge multiple lists of data together by common ID in F# ...それは役に立ちましたが、私は最高のパフォーマンスワイズのソリューションを求めています。おそらく他の構造を使ってリストや他のマージ方法ではないので、アドバイスをいただければ幸いです。

ありがとうございます！

Answer 1

ダニエルはコメントで述べたように、重要な問題は、標準Seq.groupBy機能に基づくソリューションと比較するパフォーマンスの必要性をどうするかより良い、ですか？処理するデータが大量にある場合は、実際にこの目的のためにデータベースを使用するほうが簡単かもしれません。

〜1.7倍（またはコアの数に応じておそらく多くの場合）:-)が必要な場合は、Seq.groupByをF＃PowerPackで利用可能なパラレルLINQに基づいてパラレルバージョンに置き換えることができます。 PSeq.groupBy（およびその他のPSeq機能）を使用して、このような何か書くことができます。

#r "FSharp.PowerPack.Parallel.Seq.dll" 
open Microsoft.FSharp.Collections 

// Takes a collection of events and merges prices of events with the same name/hour 
let mergeEvents (events:seq<event>) = 
    events 
    |> PSeq.groupBy (fun evt -> evt.Name, evt.Hour) 
    |> PSeq.map (fun ((name, hour), events) -> 
     // Merge prices of all events in the group with the same Selections.Name 
     let selections = 
     events 
     |> PSeq.collect (fun evt -> evt.Selections) 
     |> PSeq.groupBy (fun sel -> sel.Name) 
     |> PSeq.map (fun (name, sels) -> 
      { Name = name 
       Prices = sels |> Seq.collect (fun s -> s.Prices) |> List.ofSeq }) 
     |> PSeq.toList 
     // Build new Event as the result - since we're grouping just using 
     // name & hour, I'm using the first available 'Sport' value 
     // (which may not make sense) 
     { Name = name 
     Hour = hour 
     Sport = (Seq.head events).Sport 
     Selections = selections }) 
    |> PSeq.toList 

を私は、このバージョンのパフォーマンスをテストしていないが、私はそれがより速くなるべきだと考えています。また、アセンブリ全体を参照する必要はありません。いくつかの関連する機能のソースをコピーすることができます。PowerPack source code。前回チェックしたときに、機能がinlineとマークされたときの方がパフォーマンスが良かった。これは現在のソースコードでは当てはまりません。

Answer 2

私はそれをテストしていませんが、これはうまくいくと思います。

let events = List.init 10 (fun _ -> Unchecked.defaultof<event>) //TODO: initialize to something meaningful 

for ((name, hour), evts) in (events |> Seq.groupBy (fun e -> e.Name, e.Hour)) do 
    printfn "Name: %s, Hour: %A" name hour 
    let prices = 
    seq { 
     for e in evts do 
     for s in e.Selections do 
      for p in s.Prices do 
      yield s.Name, p 
    } 
    |> Seq.groupBy fst 

    for (selectionName, p) in prices do 
    printfn " Selection Name: %s" selectionName 
    for (_, price) in p do 
     printfn " %A" price