Transformer nedir?

Transformer, 2017 yılında tanıtılan ve bugün kullandığımız tüm büyük dil modellerinin temelini oluşturan bir yapay sinir ağı mimarisidir. Kendisinden önceki yöntemlerin aksine bir metni baştan sona tek tek işlemek yerine, kelimeler arasındaki ilişkileri aynı anda değerlendirebilmesi onu devrimsel kıldı.

Bu gücün kaynağı attention, yani dikkat mekanizmasıdır. Bu mekanizma sayesinde model, bir cümledeki her kelimenin diğer kelimelerle ne kadar ilişkili olduğunu tartar. Örneğin “banka” kelimesinin nehir kıyısını mı yoksa finans kurumunu mu kastettiği, cümledeki diğer kelimelere bakılarak anlaşılır. Bu ilişkileri paralel biçimde değerlendirebilmek, hem çok daha hızlı eğitim hem de dilin bağlamını çok daha iyi kavrama imkânı verdi. ChatGPT’nin arkasındaki GPT kısaltması da adını buradan, Generative Pretrained Transformer’dan alır.

Pratikte transformer mimarisi yalnızca metinle sınırlı kalmadı. Bugün görsel üreten, ses işleyen ve kod yazan sistemlerin çoğu da aynı temel fikir üzerine kuruludur. Bu yönüyle transformer, modern yapay zekanın üzerinde yükseldiği kilit yapı taşıdır.