なぜNTTは「小型LLM」にこだわるのか 国産AI「tsuzumi 2」に込めた狙い

図2:トークナイザの分割例と各LLMの比較。日本語の文法を考慮した分割により、tsuzumiはより少ないトークンでテキストを生成できる(出典:西田氏の講演資料)