ベンチマークについての学術的な参考資料はありますか？

Question

私はプログラムのベンチマーク方法に関する優れた学術的な参考文献を探しています。ベンチマークには多くの知識があるようですが、良いベンチマークが何であるか、悪いのは何か、どのように記述するかについては多くの参考文献を見ていません。

ありがとうございました。

Answer 1

学術的に言えば、関連記事はOOPSLA 2007の「統計的に厳密なJavaパフォーマンス評価」です（Google Scholarから検索できます）。 Javaに焦点を当てながら、ベンチマークに関する一般的なレッスンが含まれています。Javaに関するコンテンツは、仮想マシン上で実行されているほとんどの言語に対して一般的によくガベージコレクションを使用しています。最後に、結果を分析するために必要な統計知識を要約します。

また、ここではGoogleからのフレームワークです：

http://code.google.com/p/caliper/

そして、ここで自分のウィキが良いベンチマークのためのいくつかの基準について説明します http://code.google.com/p/caliper/wiki/JavaMicrobenchmarkReviewCriteria