AIF-C01 練習問題 9

ある企業が、テキスト要約タスクのためにいくつかの大規模言語モデル（LLM）を評価しています。同社は、LLM が生成する要約の品質を評価するためのメトリクスを選択する必要があります。 この要件を満たすメトリクスはどれですか？

【正解】C

【0からの解説】
ROUGE は、テキスト要約の品質評価のために設計された標準的なメトリクスです。モデルが生成した要約と、人間が作成した参照要約（正解）を比較し、単語や語句（n-gram）の重なり具合をスコア化します。参照要約の内容をどれだけ網羅できているか（再現率志向）を測ることから、この名前が付いています。要約タスクの評価といえば ROUGE、翻訳タスクなら BLEU、と覚えるのが定石です。

【誤りの選択肢】
A：再現率（Recall）は分類タスクの指標であり、生成された文章の品質を直接測ることはできません。
B：AUC は二値分類モデルの判別能力の指標であり、テキスト生成の評価には使えません。
D：平均二乗誤差（MSE）は回帰タスク（数値予測）の誤差指標であり、文章の品質評価とは無関係です。

【参考】
基盤モデルの評価（SageMaker/Bedrock）
Amazon Bedrock のモデル評価