問題 No.1676
自然言語処理モデルの評価用ベンチマークである「GLUE」に関する記述として、最も不適切なものを1つ選べ。
【正解の解説】
スポンサーリンク
【その他の選択肢の解説】
GLUEは、文章判定や質問応答などの複数のタスクで構成された総合的な評価用データセット群である。
GLUE (General Language Understanding Evaluation) は、多様な自然言語理解タスクを網羅し、モデルの汎用的な理解能力を測定するためのベンチマークである。
GLUEは、モデルの言語理解能力を客観的に比較・評価するために開発された標準的なベンチマークである。
GLUEは、研究者間でモデルの性能を公平に比較可能にすることを目的として設計された。
GLUEのスコアは、単一のタスクにおける最高精度の向上を目指して各モデルが個別にチューニングされた結果の平均値である。
GLUEは「総合的な」理解能力を評価することを目的としており、特定のタスクに特化したチューニングではなく、複数のタスクを統合的に扱えるかを評価する。個別のタスクのみを過度にチューニングする手法は、汎用性を損なう可能性がある。
GLUEに含まれる各タスクの結果を統合し、単一の指標としてスコアを算出することでモデルの優劣を判定する。
GLUEは、9つのタスクの平均スコアをベンチマークの指標として算出することで、モデルの総合的な言語理解力を定量的に評価している。