基本情報技術者 2013年 秋期 午前（科目A） 問16

コンピュータシステムのベンチマークテストの説明【午前2 解説】

要点まとめ

• 結論: ベンチマークは専用の測定ソフトを実行して処理性能を数値化し、他製品と比較する手法が正解です。
• 根拠: ベンチマークは定められたワークロードでスループットやレイテンシなどの性能指標を計測し比較可能な値を出す点にあります。
• 差がつくポイント: ベンチマークとストレス/負荷試験や稼働率測定は目的が異なり、指標（TPS, IOPS, レイテンシ等）に注目して選ぶことが重要です。

正解の理由

よくある誤解

• ベンチマーク＝負荷試験（ストレステスト）と混同しやすいが、ベンチマークは比較可能な性能指標を出すのが目的です。
• 「1命令の平均時間（ア）」はマイクロベンチマーク的観点で一部性能を示すが、一般的なベンチマークの定義ではありません。
• 稼働率（イ）は可用性や信頼性の指標で、性能比較（ベンチマーク）とは異なる測定です。

解法ステップ

1. 問題文のキーワード「ベンチマークテスト」を確認し、「性能を数値化して比較する」と結び付ける。
2. 各選択肢が示す測定対象を整理する（命令単位、稼働時間、耐久性、専用ソフト実行）。
3. ベンチマークの目的（再現性のあるワークロードで性能を定量比較）と照らし合わせる。
4. 最も一致する選択肢を選ぶ（この場合は測定用ソフトで数値化して比較するもの）。

選択肢別の誤答解説

• ア: 「1命令の実行に要する平均時間」はマイクロベンチマークや命令レベルの評価で、プロセッサ内部の一面を示す指標です。総合的なシステム性能を比較する一般的なベンチマークの定義とは異なります。
• イ: 「システムが連続して稼働する時間の割合」は可用性や稼働率の測定であり、性能（スループットやレスポンスタイム）を比較するベンチマークの説明ではありません。
• ウ: 「想定されるトランザクション量に耐えられるか」は負荷試験やストレステスト（容量試験）の説明で、限界や耐久性を評価する目的で使われますが、比較用の性能スコアを出すベンチマークとは目的が異なります。
• エ: 測定用のソフトを実行して数値化し比較する点がベンチマークの本質を表しており、最も適切です。

補足コラム

• 合成ベンチマーク（Synthetic）：特定の負荷モデルを模した標準化されたテスト（例：SPEC、Geekbench）。比較に適する。
• アプリケーションベンチマーク：実際のアプリを使ったテストで実運用に近い結果を得やすいが再現性が下がる場合がある。
• マイクロベンチマーク：特定機能（メモリアクセス、浮動小数点演算など）を測る。局所的な性能評価に有用。
  実運用での性能評価では、スループット（TPS、処理件数/秒）とレイテンシ（応答時間）を両方見ること、環境（キャッシュ、並列度、電力管理、温度）を揃えることが重要です。ベンチマーク結果を鵜呑みにせず、ワークロードの違いを理解して比較してください。

FAQ