Cohere、強力でスケーラブルなRAG最適化LLM「Command R+」を発表

LLMのトークナイザが生成するトークン数の言語別比較。Cohereのトークナイザは、同じテキストを表現するために生成するトークン数が大幅に少ない。これは非ラテン文字言語で顕著だ。日本語では、OpenAIのトークナイザはCohereのトークナイザの1.67倍のトークンを出力する（提供：Cohere）