ラウンドアップ:「Vista SP1」ベンチマークテスト

文:Adrian Kingsley-Hughes(Special to ZDNet.com) 翻訳校正:村上雅章・野崎裕子
2008-03-19 08:00:00
  • このエントリーをはてなブックマークに追加

Office 2007を用いたテストと、ゲームを用いたテスト

 ベンチマークシリーズの仕上げとして、「Vista RTM」と「Vista SP1」におけるOffice 2007のパフォーマンスと、ゲームのパフォーマンスをそれぞれ比較した。

 ゲームのベンチマークテスト結果におけるフレームレートを見ると、XP SP2とVista RTM、Vista SP1の間で差異はほとんどないということが判る。

図B

 以下は、Office 2007を用いたベンチマークテストの結果から得られた結論である。

テスト全体を通じて結果に一貫性があったため、Vista Service Pack 1がMicrosoft Office 2007アプリケーションのパフォーマンスに与える影響はほとんどないということが明らかになったと言える。負荷なし時のテストにおける、Vista RTMとVista SP1の平均値間に見られる8秒の差は、通常の使い方では気付かないだろう。このことは、SP1によってOfficeアプリケーションの実行速度が低下するのではないかと心配していた人々にとっては嬉しい知らせであるものの、パフォーマンスが向上すると期待していた人々にとっては残念な知らせであろう。

 そして以下が、ゲームを用いたベンチマークテストの結果から得られた結論である。

では、結論はどうなるだろうか。XP SP2は依然として、ゲームについては優れている。しかし、Vistaも良くなってきている。いくつかのMicrosoftによる性能向上のアップデート、ハードウェアベンダーからのよりよいドライバ、ゲームメーカーそのものからのアップデート(このいい例がオブリビオンの改善で、VistaのRTM版が出た時点ではひどい性能だったにも関わらず、実際にXPよりもVistaの方がよいというところまで改善した)。試してみると面白いだろうと思うことは(これを行う時間はなかったのだが)、パッチを当てない裸のVista RTMで再度ベンチマークを行い、Vista SP1と比較することだ。私の予想では、かなりの改善が見られるだろう。それでも、Vista SP1をXP SP2と比較すると、Vistaが兄貴分を打ち負かすのはまだまだ先の話だということは確かだ。

Principled Technologiesの「Vista」対「XP」レポート

 Vista SP1のベンチマークテストを行い、その結果をXP SP2のものと比較していたのは私だけではなかった。Microsoftの委託を受けたPrincipled Technologiesが公開した一連のレポートは、マスコミからかなりの注目を集めた。私はこれらのレポートを読み、以下のような結論に達した。

これらのテスト結果は、私が行ったテストの結果と非常によく似ている。例えば、私がOfficeBenchを用いてOffice 2007の応答性をテストした際、VistaのRTM版とSP1版の間には差異がほとんど存在しないという結論に達した。Principled Technologiesは0.5秒や0.25秒といった差異を指摘しているが、それは実際にはほとんど差異がないと言っているに等しいのである。

Principled Technologiesのレポートでコメントしておくべきもう1つの点は、VistaのRTM版とSP1版を比較した際に、あえて指摘するような差異がほとんど見られなかったということである。SP1版ではファイルのコピーといった操作が高速化されているとはいえ、こういったことが現実的な利用状況にもたらす影響はほとんどないはずだ。このことも、私が行ったテストの結果と一致する。確かに、差異というものは存在しているものの、通常の使い方ではほとんど気付かない程度のものだろう。

 ただ、私が発表したテスト結果と、Principled Technologiesの公開したテスト結果との間には相関関係があったものの、ベンチマークテストの方法に関しては気になる点が2つあった。

  • まず、こういったベンチマークテストのソースが公開されていないという点である。テスト用のスクリプトを作成するために、Microsoftが開発したツール(ScenCap)が用いられているものの、このツールはMicrosoft社内で用いられているものであり、一般には公開されていない。そしてPrincipled Technologiesは、レポートに使用したテストスクリプトを公開していないのだ。このため、私を含めて誰も、行われたテストを再現することができないのである。テストに用いられたツールが利用可能になっていなければ、結果の数値が非常に正確なものであるのか、それとも乱数発生器によって作り出されたものなのか判断できないのだ--そしてそれを知る方法もないのだ。
  • もう1つの問題は、これらのレポートではいずれも「HP a1320y」デスクトップシステムを用いたテスト結果が付録として添付されており、レポートの脚注によるとこのテスト結果は、「テスト結果として受け入れることができないほどのばらつきが見られた」ため、チャート化と分析の対象から除外されたと記述されている点だ。しかし、これらのテストのスコアに目を通すと、行われたテストの多くで、XPがVistaのRTM版とSP1版に勝る結果を出していたようだ。

 私はPrincipled Technologiesに連絡を取り、こういった点について詳しい説明を求めているが、今に至るまで満足の行く回答を受け取っていない。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]