Microsoftの自然言語モデル「DeBERTa」、ベンチマークで人間を上回る記録を達成

DeBERTaのアーキテクチャ。DeBERTaは、非分離の注意メカニズムと改良マスクデコーダーなどによって、BERTやRoBERTaを進化させたものだ。非分離の注意メカニズムでは、各単語は、各単語の内容と相対的位置をそれぞれコード化した2つのベクトルで表現される（出典：Microsoft）