問題 No.1631
自然言語処理モデルの推論能力を測定するために開発された、複数のベンチマークタスクを含む評価指標はどれか。
【正解の解説】
GLUE
General Language Understanding Evaluationの略称。文の類似性、含意関係、感情分析など多様なタスクを統合した評価セットである。
スポンサーリンク
【その他の選択肢の解説】
BLEU
翻訳モデルが生成した文章と、人間による参照翻訳文との一致度をn-gramの重なり具合で評価するスコア。
ROUGE
主に文章要約タスクにおいて、生成された要約文が参照要約文とどれだけ重なっているかを測定する手法。
GLUE-score
GLUEベンチマークのスコアを指すために使われることがあるが、それ自体は指標やタスクの名前ではない。