データベーススペシャリスト 2021年午前2 問18

問題文

ビッグデータ処理基盤に利用されオープンソースソフトウェアの一つであるApache Sparkの特徴はどれか。

選択肢

ア：MapReduceの考え方に基づいたバッチ処理に特化している。

イ：RDD(Resilient Distributed Dataset)と呼ばれるデータ集合に対して変換を行う。（正解）

ウ：パブリッシュ/サブスクライブ(Publish/Subscribe)型のメッセージングモデルを採用している。

エ：マスタノードをもたないキーバリューストアである。

Apache Sparkの特徴に関する問題【午前2 解説】

要点まとめ

結論：Apache SparkはRDD（Resilient Distributed Dataset）を用いて分散データの変換処理を効率的に行うフレームワークです。
根拠：RDDは耐障害性を持つ分散データ集合で、メモリ上での高速処理を可能にし、バッチ処理だけでなくストリーミング処理もサポートします。
差がつくポイント：MapReduceのバッチ処理に限定せず、RDDを活用した柔軟なデータ操作が可能な点を理解することが重要です。

正解の理由

選択肢イの「RDD(Resilient Distributed Dataset)と呼ばれるデータ集合に対して変換を行う」はApache Sparkのコア概念を正確に表しています。RDDは分散環境での不変データ集合であり、耐障害性を持ちながらメモリ上での高速なデータ処理を実現します。SparkはこのRDDを基盤に、MapやFilterなどの変換操作を効率的に行うため、ビッグデータ処理に適しています。

よくある誤解

Apache SparkはMapReduceの単なる代替ではなく、より高速で柔軟な処理を可能にするためRDDを用いています。パブリッシュ/サブスクライブモデルやキーバリューストアとは異なる技術です。

解法ステップ

Apache Sparkの基本的な特徴を確認する。
RDDの意味と役割を理解する。
各選択肢の技術的特徴とSparkの関係を比較する。
Sparkの処理モデルがRDDを中心にしていることを確認し、正解を選ぶ。

選択肢別の誤答解説

ア: MapReduceの考え方に基づいたバッチ処理に特化している。
→ SparkはMapReduceの考え方を拡張し、バッチだけでなくストリーミングやインタラクティブ処理も可能です。
イ: RDD(Resilient Distributed Dataset)と呼ばれるデータ集合に対して変換を行う。
→ 正解。Sparkの基盤技術であり、高速で耐障害性のある分散処理を実現します。
ウ: パブリッシュ/サブスクライブ(Publish/Subscribe)型のメッセージングモデルを採用している。
→ Sparkはメッセージングモデルではなく、RDDを用いたデータ処理フレームワークです。
エ: マスタノードをもたないキーバリューストアである。
→ Sparkはマスターノード（ドライバプログラム）を持ち、キーバリューストアではありません。

補足コラム

Apache SparkはHadoopのMapReduceに比べてメモリ上での処理を重視し、処理速度が大幅に向上しています。RDDは不変性を持ち、失敗時には再計算で復元可能なため、分散環境での信頼性も高いです。また、SparkはSQL処理（Spark SQL）、機械学習（MLlib）、グラフ処理（GraphX）など多様なライブラリを備えています。