「ベンチマーク高得点」AIでも“本番”で障害頻発　GitHubがLLMの誤検知を「95％削減」した7つの教訓

LLM評価のライフサイクル。プロダクト上の意思決定から、代表的なデータセット、オフライン評価、エラー分析、的を絞った変更、リグレッション評価を経て、オンライン実験に至る（提供：GitHub）