Ülkemizdeki LLM çalışmalarıyla ilgili son durumu aktardım. İyi seyirler.
Video tercih edenler için: https://youtu.be/sLS2uzjDkuc
Yapay zeka ve teknoloji gelişmeleri için abone olmayı unutmayın!
Trendyol LLM: https://huggingface.co/Trendyol
Commencis LLM: https://huggingface.co/Commencis/Commencis-LLM
FinLLM'ler: https://arxiv.org/abs/2402.02315
Bölümler
00:00 Giriş
00:22 LLM nedir?
01:15 Ülkemizde LLM
01:24 Trendyol LLM
02:01 Commencis LLM
02:46 Yatırım tavsiyeleri
LLM’ler yani Büyük Dil Modelleri (Large Language Model), genellikle büyük miktarda metin verisi üzerinde eğitilmiş yapay zeka sistemlerini ifade eder. Bu modeller, doğal dil işleme (NLP) görevlerinde kullanılmak üzere tasarlanmıştır. Bu modeller, insan benzeri metin üretme, metin anlama, çeviri gibi bir dizi karmaşık dil görevini gerçekleştirebilir. Büyük dil modelleri, geniş bir metin yelpazesini kullanarak dünya çapında çevrimiçi metinlerden öğrenir ve bu metinlerdeki kalıpları kullanarak yeni metinler oluşturabilir.
Ülkemizdeki çalışmalara gelirsek, açık kaynak olarak da yayınlanan 2 LLM modeli göze çarpıyor. Trendyol ve Commencis.
Trendyol LLM’den başlayalım. Trendyol LLM, Meta’nın 7 milyar parametreli LLaMa2 modeli üzerine kurulmuş. 4 aylık bir süreçte eğitilmiş. İlk üç ay açık kaynaklardan ve Trendyol’un kendi verileri kullanılarak eğitilmiş. Son ay ise Türkçeye daha hakim olması için 10 milyar tokenlık bir veri setiyle eğitilmiş. Trendyol bu modeli chatbotlarında ve arama altyapılarında kullanmayı hedefliyor. Aynı zamanda ihracat yapan satıcıların dil engelini aşması için kullanılmasını da planlıyor. Hakkında yayınlanmış daha fazla bilgi maalesef yok. İlgilenenler için Hugging Face sayfaları açıklamada.
Bahsedeceğimiz diğer LLM ise Commencis LLM. Bu daha özel amaçlı eğitilmiş bir model. Bankacılık ve finans alanında kullanılması planlanıyor. 7 milyar parametreli Mistral modelini temel almış. Finans alanında eğitmek için Alpaca’nın finans veri setini Türkçeye çevirip kullanmışlar. Ek olarak havayolları, sigortacılık, e-ticaret ve telekomünikasyon sektöründe de kullanılabileceği düşünülüyor.
Örnek olarak bazı sorular ve modelin verdiği cevaplar da var elimizde. Bu örneklerde finansal terimleri doğru anlayıp kısa ve öz tanımlamalar yaptığını görüyoruz. Tabii konu finans olunca akla gelen ilk konulardan biri yatırım tavsiyesi verip vermeyeceği. Daha doğrusu bu filtreleme nasıl sağlanacak? Yatırım hakkında bilgi ve yatırım tavsiyesi arasındaki çizgi nasıl çizilecek?