Bu bölümde, GPT’nin nasıl devasa metin veri setleri üzerinde önceden eğitildiğini, nasıl Transformer mimarisi üzerine kurulduğunu ve metinleri nasıl bir kelimenin sonrasında hangisinin geleceğini tahmin ederek oluşturduğunu keşfediyoruz. Bunu yaparken, eski dostumuz Turing'e selam veriyor, Doğal Dil İşleme'nin (NLP) tarihine göz atıyor, ELIZA'ya hal hatır soruyoruz.

Beatles'ın "All you need is love" haykırışını kulaklarımızda çınlatırken, biz de dikkat mekanizmalarına, tokenizasyona, embedding yöntemlerine göz atıyoruz. RNN’lerden LSTM’lere algoritmaların nasıl evrildiğine kısaca bakıyoruz. GPT’nin arkaplanını, hem matematiksel hem tarihsel hem de kültürel bir yolculukta adım adım çözmeye çalışıyoruz.

Websitem: https://fbildirici.github.io

Kaynaklar

• Attention Is All You Need (Vaswani et al., 2017)
  Transformer mimarisinin doğuşunu anlatan temel makale.
  https://arxiv.org/abs/1706.03762

• The Bitter Lesson (Rich Sutton, 2019)
  Yapay zekâda deneyimlerin ve insan tasarımından ziyade hesaplama gücünün önemine dair etkili bir bakış.
  http://www.incompleteideas.net/IncIdeas/BitterLesson.html

• Stochastic Parrots (Bender et al., 2021)
  Büyük dil modellerinin önyargılar, sürdürülebilirlik ve etik risklerine dair eleştirel bir çalışma. Geçen bölümde de bahsetmiştik, ama bu konu hâlâ gündemimizde.
  https://dl.acm.org/doi/10.1145/3442188.3445922

• The Illustrated GPT-2 (Jay Alammar)
  GPT mimarisini görsel anlatımlarla sadeleştiren detaylı ve anlaşılır bir blog yazısı.
  https://jalammar.github.io/illustrated-gpt2/