Tokenizasyon nedir?

Tokenizasyon, bir metnin yapay zeka modelinin işleyebileceği token adı verilen küçük parçalara bölünmesidir. Bu parçalar bazen tam bir kelime, bazen bir hece, bazen de yalnızca birkaç karakterlik gruplar olabilir. Dil modelleri metni harf harf değil, bu tokenlar üzerinden anlar ve üretir. Türkçe gibi ekleri bol dillerde bir kelime birden fazla tokena bölünebildiği için token sayısı çoğu zaman kelime sayısından yüksek çıkar.

Tokenizasyonun önemi pratikte hemen kendini gösterir. Çoğu sağlayıcı ücretlendirmeyi işlenen token sayısına göre yapar, dolayısıyla uzun metinler doğrudan maliyeti etkiler. Bağlam Penceresi sınırı da kelime değil token cinsindendir, yani modele tek seferde verebileceğiniz metnin uzunluğu tokenla ölçülür.

Örneğin bir e-ticaret sitesinin ürün açıklamalarını yapay zekayla toplu üretirken, açıklamaları kısa ve öz tutmak hem token maliyetini düşürür hem de bağlam sınırına daha çok ürün sığdırmanızı sağlar. Embedding üretimi de aynı token yapısı üzerine kuruludur.