ITパスポート 2016年 秋期 問86

全文検索型検索エンジンの巡回ソフトはどれか【ITパスポート 解説】

正解の理由

• クローラ（crawler、または web crawler / spider / bot）は、Web上のページを自動で辿（たど）り、ページのHTMLやリンク情報を収集します。
• 収集したデータは全文検索エンジンで解析され、検索に使えるインデックス（目次のようなデータ構造）に変換されます。

解法ステップ

1. 問題文のキーワードに注目：「Webページを自動的に巡回・収集する」。
2. 各選択肢の意味を確認する。
   • ア: CGI → サーバ（サービスを提供するコンピュータ）上で動くプログラムの呼び出し方法（Common Gateway Interface）。
   • イ: クローラ → Webページを自動で巡回・収集するソフト。
   • ウ: クロスサイトスクリプティング（XSS：Cross-Site Scripting） → 悪意あるスクリプトを他人のページに埋め込む攻撃手法。
   • エ: バックドア → 本来の正規手段を使わずに遠隔操作や侵入を可能にする不正な入り口。
3. 定義と問題文を照らし合わせ、該当するのはクローラであると判断する。

選択肢別の誤答解説

• ア: CGI（Common Gateway Interface：サーバ側のプログラム呼び出し方式）
  • 誤りの理由：CGIはブラウザからのリクエストに応じてサーバ側でプログラムを実行し、動的なページを生成するための仕組みです。ページを自動で巡回・収集する機能は持ちません。
• イ: クローラ
  • 正解の理由：Webを巡回（クロール）してページを取得する役割を持ちます。検索エンジンのデータベース作成に直接関わる技術です。
• ウ: クロスサイトスクリプティング（XSS）
  • 誤りの理由：XSSはウェブサイトの脆弱性を突いてスクリプトを注入する攻撃です。収集・巡回とは無関係で、悪用されるとユーザー情報の盗難などを引き起こします。
• エ: バックドア
  • 誤りの理由：バックドアはシステムに秘密裏に仕込まれた侵入経路です。これも巡回・収集の目的のソフトではありません。むしろ不正アクセスに使われることがあります。

よくある誤解

1. 「クローラは検索結果を作るソフトそのもの」
   • 実際はクローラはデータを集める役割で、集めたデータを解析して検索用のデータ構造（インデックス）を作るのは別の処理（インデクサや解析エンジン）です。クローラ＝検索エンジン全体ではありません。
2. 「ボット＝悪意あるもの」
   • ボット（自動で動くプログラム）は善悪両面あります。検索エンジンのクローラは合法で有益なボットですが、スクレイピングや攻撃目的のボットも存在します。目的で判断します。
3. 「robots.txtはクローラを止めるセキュリティ機能」
   • robots.txtはクローラへのお願い（アクセス制御の指示）であり、悪意あるクローラは無視することがあります。完全な防御手段ではありません。

補足コラム

• クローラの別名：スパイダ（spider）、ロボット（bot）とも呼ばれます。検索エンジンの代表的な流れは「クロール（収集）→インデックス（索引作成）→検索（ユーザー照合）」です。
• インデックスは本の索引のようなもの。全文検索では「単語がどのページに何回出ているか」を高速に見つけられるように、逆引きのデータ構造（逆インデックス、inverted index）を作ります。
• 実務で関係する点：Webサイト運営ではrobots.txtやsitemap（サイトマップ）を用意して検索エンジンのクローラに情報を伝えます。これによりページが正しく収集され、検索に載りやすくなります。

FAQ