Yeni bir araştırma, yapay zekâ modellerinin bazı dillerde aynı iş için 17 kata kadar fazla token harcadığını ortaya koydu. Kendi ölçümümüzde Türkçe, İngilizceye göre yaklaşık 1,5 kat fazla token tuttu. Bu "tokenizer vergisi" kime, nasıl yansıyor?
Stories on this topic, gathered from every source.