元麻布春男の視点 最新ベンチマークはPentium 4が好き 元麻布春男 2001/06/01

　1カ月ほど前のこのコラムで、最近更新されたベンチマーク・テストについて取り上げた。そのときは、名前しか触れることのできなかったSYSmark 2001だが、やっと入手して、ある程度実際に触ってみることができた。そこで、旧版（SYSmark 2000）との違いも明らかになったので、ここに紹介する。

SYSmark 2001の変更点

　SYSmarkシリーズは、非営利団体であるBAPCoが提供するアプリケーション・レベルのベンチマーク・プログラムの1つである。開発および販売には、3DMarkで知られるMadOnionが協力している。BAPCoは、「Business Applications Performance Corporation」の略で、Adaptec、Amdahl、Compaq、Dell、Hewlett-Packard、IBM、InfoWorld、Intel、Microsoft、NEC、VNU Business Publicationsといった企業がメンバーとして名を連ねている。BAPCoはSYSmarkシリーズ以外にも、インターネットのアクセス性能を測る「WebMark」、Javaアプリケーションの性能を測る「SYSmark J」などのベンチマーク・プログラムを提供しているが、いずれも企業内で使われるPCの性能を測ることを主眼にしている。中でもSYSmarkシリーズは、オフィス内で用いられるクライアントPC用のベンチマーク・プログラムとして、最も頻繁に更新されているシリーズだ。

SYSmarkの開発に参加しているベンダ

SYSmark 2001で表示される開発参加ベンダのロゴ。業界内で発言力のある企業の名前が多く見つかる。

　SYSmarkシリーズの最新版であるSYSmark 2001の価格は199.95ドル（送料別）。SYSmarkシリーズは、実際のアプリケーション・プログラムを用いたベンチマーク・テストであるため、容量が極めて大きく、CD-ROMによる有償配布に限定されている（インターネットからのダウンロードはできない）。実際、SYSmark 2001はCD-ROM 2枚組のボリュームで、セットアップにもかなり時間がかかる。

　SYSmark 2001では前のバージョンであるSYSmark 2000から多くの変更が行われているが、大きな違いは、含まれているアプリケーションのアップデート、ユーセージ・モデルの更新、計測メソッドの変更、といったところだ。アプリケーションの入れ替えについては、下表にまとめておいた。PCの性能をOffice Productivity（オフィスでの生産性）とInternet Content Creation（インターネット向けコンテンツの作成）の2つのカテゴリで測る点はこれまでと同様だが、いずれのカテゴリにおいてもアプリケーションの入れ替え、最新版へのアップデートなどが行われている。

テスト・カテゴリ	SYSmark 2000	SYSmark 2001
Office Productivity	CorelDRAW 9
	Corel Paradox 9	Microsoft Access 2000
	Microsoft Excel 2000	Microsoft Excel 2000
	Microsoft Word 2000	Microsoft Word 2000
	Microsoft PowerPoint 2000	Microsoft PowerPoint 2000
	Netscape Communicator 4.61	Netscape Communicator 6.0
	Dragon Naturally Speaking Preferred 4.0	Dragon Naturally Speaking Preferred 5.0
		Microsoft Outlook 2000
		WinZip 8.0
		McAfee VirusScan 5.13
Internet Content Creation	MetaCreations Bryce 4
	Avid Elastic Reality 4.1
	Adobe Photoshop 5.5	Adobe Photoshop 6.0
	Adobe Premiere 5.1	Adobe Premiere 6.0
	Microsoft Windows Media Encoder 4.0	Microsoft Windows Media Encoder 7
		Macromedia Dreamweaver 4
		Macromedia Flash 5
SYSmark 2000とSYSmark 2001で採用されているアプリケーション

　こうしたアプリケーションの入れ替えとも関係するのが、ユーセージ・モデル（Usage Model）の更新だ。ユーセージ・モデルというのは、ベンチマーク・テストの前提となるPCの利用法のこと。PCがどのように使われるのかを想定しない限り、性能など比較しようがない。そういう意味で、ユーセージ・モデルの設定というのは、ベンチマーク・テストの根幹にかかわる部分だ。　

　SYSmark 2001におけるユーセージ・モデルが、SYSmark 2000と最も大きく異なるのは、バックグラウンド・アプリケーションの導入である。SYSmark 2000は、複数のアプリケーションから構成されているとはいえ、ほかの多くのベンチマーク・テストと同様、同時に実行されるアプリケーションは基本的に1つだった。つまり、Wordのテストが終わったらExcelのテストといった具合に、テストは1つずつ順番に実施された。

　しかしSYSmark 2001では、PowerPoint 2000でプレゼンテーションを作成するバックグラウンドで、アンチウイルス・ソフトウェアや音声認識ソフトウェア（Dragon Naturally Speaking）による音声のテキスト変換が実行されていたり、DreamweaverによるWebページ作成のバックグラウンドで、Windows Media Encoderによるビデオのエンコーディングが行われていたりする。複数のアプリケーションが同時実行されることで、プロセッサのFSBやメモリ・バスに対する負荷が、SYSmark 2000よりも高くなっているものと思われる。

SYSmark 2001の結果出力画面

ベンチマークの実行中は、一般的なオフィス・アプリケーションの実行画面と同じ、味気ないものだ。結果の表示も、見て分かるようにそれほど面白いものではない。

SYSmark 2001の測定方法

　「計測メソッドが変わった」というのは、次のような変更を指す。SYSmark 2000は、一定の処理を行うスクリプトを実行し、トータルでの実行時間を測っていた。それに対し、SYSmark 2001では、ある処理が実際に始まってから（例えばアプリケーションの並べ替えボタンを押してから）、その処理が終わるまでの時間（反応時間）だけを集計するようになっている。つまり、スクリプトを読み込んだり、特定のキー入力を行ったりする時間は計測の対象から外された。

　そのキー入力も、これまではスクリプトにより人間離れした速度で行われていたが、SYSmark 2001では意図的に人間の入力速度を意識した速度に落とされている。これを実現するためにも、計測からキー入力などに要する時間を除外する必要があったわけだ。従って、SYSmark 2001では、目にも留まらぬ速度で画面がスクロールする、といった光景はもう見られない。

　以上のような変更がいったいどのような影響を及ぼすのか。実際にいくつかのシステムでSYSmark 2001と、比較用に前バージョンであるSYSmark 2000を実行してみた。

Pentium 4の成績が向上したSYSmark 2001

　まず、これまで使われてきたSYSmark 2000の結果をザッと見て、復習しておこう。さすがに最も高い性能を示しているのは、最も動作クロックが高いPentium 4-1.7GHzだが、それを除くとPC133 SDRAMを用いたPentium III-1GHzの性能の高さが目をひく。高価なDirect RDRAMを打ち負かしたことは、以前話題になったとおりだし、Pentium 4-1.4GHzよりPentium III-1GHzの方が高性能というのも、多くのベンチマーク・テストで報告されていることだ。SYSmark 2000の結果だけを見る限り、これが結論となる。

　ところが、新しいSYSmark 2001の結果は、SYSmark 2000とはかなり異なっている。最も大きな変化は、Pentium 4の性能が高くなっていることだ。理由として考えられるのは、アプリケーションが新しくなることで、Pentium 4に最適化されたバイナリが増えたことと、バックグラウンドでアプリケーションが実行されているため、FSBやメモリ・バスに対する負荷が増したことの2点だ。

	CPU	Pentium III-1GHz	Pentium III-1GHz		Pentium 4-1.4GHz		Pentium 4-1.7GHz
テストPCの構成	マザーボード	Intel D815EEA	ASUSTeK CUC2		Intel D850GB		Intel D850GB
	チップセット	Intel 815	Intel 820E		Intel 850		Intel 850
	チップセット・ドライバ	2.80 Build 12	2.80 Build 12		2.80 Build 12		2.80 Build 12
	ソケット	Socket 370	Socket 370		Socket 423		Socket 423
	メモリ	256Mbytes PC133 CL2	256Mbytes PC800		256Mbytes PC800		256Mbytes PC800
	HDD	Maxtor 5T040H4	Maxtor 5T040H4		IBM DTLA-307045		IBM DTLA-307045
				Intel 815比		Intel 815比		Intel 815比
SYSmark 2000	Rating	193	190	98.4％	178	92.2％	203	105.2％
	Internet Content Creation	195	192	98.5％	193	99.0％	223	114.4％
	Office Productivity	192	188	97.9％	168	87.5％	189	98.4％
SYSmark 2001	Rating	111	108	97.3％	131	118.0％	147	132.4％
	Internet Content Creation	109	110	100.9％	136	124.8％	161	147.7％
	Office Productivity	114	107	93.9％	126	110.5％	134	117.5％
SYSmark 2000とSYSmark 2001のベンチマーク・テストの結果
Intel 815比は、PC133 SDRAMを搭載するPCとの性能比

グラフィックス・カード	WinFast GeForce3
ディスプレイ・ドライバ	Detonator 12.40
解像度	1024×768×32＠85Hz
OS	Windows 98 SE
DirectXランタイム	DirectX 8.0a
サウンド	YMF744
LAN	3C905-TX
ベンチマーク・テスト・マシンに共通の仕様

　特に、Internet Content Creationで性能が大幅に向上しているのは、CODEC処理やグラフィックスのフィルタ処理がSSE／SSE2向きであること、キャッシュに不向きなストリーム・データを取り扱っており、FSBやメモリ・バスの帯域の影響を受けやすい、ということを考えれば納得がいく。SSE／SSE2がデータをキャッシュに格納するかどうかをコントロール可能なプリフェッチ命令を備えていることも貢献している可能性がある。

　いずれにしても、バージョンが1つ違うだけで、まったく違う結果になってしまうというのは、ベンチマーク・テストとして混乱を招きやすいことは間違いない。BAPCoの有力メンバーの1社がIntelであることを考えれば、その最新プロセッサであるPentium 4に不利な結果が出るSYSmark 2000を放置しておくハズがない、といううがった見方も可能だし、これもまったく的外れな話ではないだろうと思う。ただ、だからといって、例えばCPU IDを見て、Pentium 4なら無条件にスコアを増やすといった、Pentium 4に対して無条件に有利な結果が出るような細工が、SYSmark 2001にしてあるわけではない。ユーセージ・モデルの変更により、これまでウエイトの低かったSIMD命令やFSBおよびメモリ・バスがテスト結果に占める割合が高まっただけである。

SYSmark 2001のユーセージ・モデルは妥当か

　SYSmark 2001の結果を信じるかどうかは、このユーセージ・モデルを妥当なものと考えるかどうか、にかかっている。もちろん、Pentium 4に最適化したアプリケーションを選択しているという点についても議論する必要があるだろうが、新しいアプリケーションがPentium 4に最適化されていくことを考えれば、むしろ実情に即した選択といえるだろう。

　つまり、オフィス・アプリケーションや、インターネット・コンテンツ・アプリケーションを利用する際、バックグラウンドでもアプリケーションが実行されている、という状況は「あり」なのか、リアリティがない、と見るかにかかっている。

　冒頭で述べたように、SYSmarkは基本的にビジネス環境を前提にしたベンチマーク・テストである。もはやビジネス環境で、インターネットの常時接続環境がないことなど考えられないことを思えば、SYSmark 2001のユーセージ・モデル、特にOffice Productivityのそれは、それほど荒唐無稽なものではないと思うのだが、どうだろうか（音声認識はちょっと微妙だが、近い将来こうした用途にPCが用いられる可能性が高い、ということのようだ）。このユーセージ・モデルが「あり」なのだとしたら、SYSmark 2001のテスト結果は説得力を持つことになる。

　さて、最後にSYSmark 2000に比べてSYSmark 2001で改善されたことをもう1つ挙げておこう。それは、SYSmark 2001は、日本語版のOSで動く、ということだ。表に示した結果は、Windows 98 Second Editionのものだが、Windows 2000でも問題なく動作した。前のバージョンであるSYSmark 2000はWindows 9x系OSでは動作したものの、Windows NT系OSではうまく動作しなかった。残念ながら日本のユーザーにとって、日本語のアプリケーションが含まれていないという弱点は改善されていないものの、日本語版のOSで動く（ただし、キーボードとロケールの設定を変更しなければならない）というのはSYSmark 2001の大きな改良点の1つだ。

関連記事
元麻布春男の視点	Pentium 4がPentium IIIよりも遅い？

関連リンク
MadOnion	SYSmark 2001の情報ページ
BAPCo	SYSmark 2001発表のニュースリリース

「元麻布春男の視点」

＠ITメールマガジン　新着情報やスタッフのコラムがメールで届きます（無料）