基本情報技術者 2018年 春期 午前（科目A） 問20
問題文
多数のサーバで構成された大規模な分散ファイルシステム機能を提供し、MapReduceによる大規模データの分散処理を実現するOSSはどれか。
選択肢
ア：Apache Hadoop（正解）
イ：Apache Kafka
ウ：Apache Spark
エ：Apache Storm
🔒 解説は解答すると表示されます
分散ファイルシステムとMapReduce【午前解説】
正解の理由
正解は ア（Apache Hadoop）です。HadoopはHDFS（Hadoop Distributed File System）という多数サーバ上の分散ファイルシステムを提供するとともに、MapReduceというプログラミングモデルと実行環境で大規模データのバッチ分散処理を行います。問題文中の「分散ファイルシステム」と「MapReduce」という2つのキーワードがそのままHadoopの主要機能を指しているため、選択肢の中で最も適合します。
解法ステップ
- 問題文中のキーワードを抽出：「分散ファイルシステム」「MapReduce」「多数のサーバ」「大規模データ」。
- キーワードと各OSSの主要機能を照合：分散FS＋MapReduce を提供するものを探す。
- 最終判断：HDFS（分散FS）とMapReduce（バッチ処理フレームワーク）を持つApache Hadoopを選択。
選択肢別の誤答解説
- ア: ア Apache Hadoop — 正解。HDFSで分散ファイルを管理し、MapReduceで大規模バッチ処理を実行する。
- イ: Apache Kafka — 誤り。Kafkaは分散メッセージング／ストリーミングプラットフォームで、永続化や配信を得意とするが分散ファイルシステムやMapReduce実行環境は提供しない。
- ウ: Apache Spark — 誤り。Sparkは高速なインメモリ分散処理エンジンで、MapReduce的処理は可能だが、分散ファイルシステム自体は持たない（HDFS等のストレージ上で動作する）。
- エ: Apache Storm — 誤り。Stormはリアルタイムストリーム処理フレームワークで、低レイテンシの継続処理を得意とするが、分散ファイルシステムやMapReduceのバッチ基盤ではない。
よくある誤解
- SparkとHadoopを混同して、Sparkが「分散ファイルシステム」を持つと思い込む誤解。Sparkは処理エンジンであり、分散FSは別途（HDFS等）に依存します。
- Kafkaを見て「分散処理に使える」とだけでMapReduce機能があると誤認する。Kafkaは分散メッセージング/ストリーミング基盤で、ファイルシステム・MapReduceは提供しません。
- MapReduceを「単なるmapとreduce関数の組合せ」と理解して実装形態を見落とす。ここではMapReduceというフレームワーク（ジョブ管理や分散実行）が問われています。
補足コラム
HadoopはGoogleの論文（Google File System と MapReduce）を参考に設計され、Doug Cuttingらによって開発されました。主要コンポーネントはHDFS（NameNode/DataNode構成）とYARN（リソース管理）、MapReduce（バッチ処理ジョブ）です。近年はSpark等の高速処理エンジンが登場し、Hadoopのストレージ（HDFS）上でSparkを動かすことも一般的になっています。エコシステムとしてHive（データウェアハウス）、HBase（分散NoSQL）、Pigなどが連携します。
FAQ
Q: SparkはHadoopの代替ですか？
A: 一部の用途では代替になります。Sparkはバッチやインタラクティブ処理で高速ですが、分散ファイルシステム自体は提供しないため、ストレージはHDFSやS3を利用します。
A: 一部の用途では代替になります。Sparkはバッチやインタラクティブ処理で高速ですが、分散ファイルシステム自体は提供しないため、ストレージはHDFSやS3を利用します。
Q: Hadoopはリアルタイム処理に使えますか？
A: HadoopのMapReduceはバッチ処理向けでレイテンシが高く、リアルタイムストリーミングにはKafkaやStorm、Spark Streamingなどが適しています。
A: HadoopのMapReduceはバッチ処理向けでレイテンシが高く、リアルタイムストリーミングにはKafkaやStorm、Spark Streamingなどが適しています。
Q: MapReduceとは何ですか？
A: MapReduceはデータを分割して並列でMap処理を行い、その結果を集約するReduce処理で大規模データを分散処理するプログラミングモデルと実行フレームワークのことです。
A: MapReduceはデータを分割して並列でMap処理を行い、その結果を集約するReduce処理で大規模データを分散処理するプログラミングモデルと実行フレームワークのことです。
関連キーワード: Hadoop、HDFS、MapReduce、YARN、分散処理、分散ファイルシステム、Spark、Kafka、Storm、ビッグデータ、Hive、HBase、分散ストレージ
\ せっかくなら /
基本情報技術者を
クイズ形式で学習しませんか？
クイズ画面へ遷移する→
すぐに利用可能！