「Vista RTM」対「Vista SP1」--Office 2007を用いたベンチマーク対決の結果は

ベンチマークテストに対する私の考え

　私は長い間、システムのベンチマークテストを行ってきている。このため、テスト結果からどれだけ多くの疑問に対する答えが見つかる場合であっても、実際にテストを行ってみると、解決した疑問1つに対して新たに3つぐらいの疑問が出てくるということを知っている。先に行ったVistaのベンチマークテストでも、同じようなことが起こった。私が行ったテスト結果に対して、異なったシナリオでテストしたらどうなるのかという質問や、そういったシナリオのテストを他のプラットフォームで行ったらどうなるのかという質問が読者から寄せられてきたのである。

　ベンチマークテストとは作為的なものである。その目標は、できる限り変数を排除し、指標を一貫性のあるものにすることにある。しかし問題は、変数を排除することでテストが現実的なものではなくなり、ベンチマーク対象のPC上にしか存在しない絵空事の世界のものになってしまうという点にある。日々のPC作業を始める前に、一貫性を確立するための面倒な手順を踏む人などいないはずだ。このため、私は「あなたの使用状況次第」という言葉を頻繁に使うことになるのである。

　ベンチマークテストの抱えるもう1つの根本的な問題は、テストも結果も、人々が望むものとぴったり一致することはないという点にある。結局のところ、人々が望むものは、自らの使用しているPCで通常の作業を行った場合のベンチマークなのである。残念なことに、そういったことは私にはできないのだ。