Yapay zekâ ürünlerini ölçmek ve üretime taşımak

İlk derse başla →

0/4 dersBaşla → 01

01İstem kalıplarıİyi bir istem sezgiyle değil, bilinen kalıplarla ve ölçerek yazılır. Örnek göstermek, adım adım düşündürmek, işi bölmek ve sistem komutu tasarlamak.50 dk
02Hata analizi: önce verine bakMetrik seçmeden önce sistemin gerçek çıktılarını oku. Notlar al, notları kümelere ayır ve bir hata sınıflaması çıkar. Değerlendirmenin en çok atlanan ve en değerli adımı.55 dk
03Değerlendirici yazmakHer hata türü için bir ölçüm. Önce kodla kontrol edilebilenler, sonra yalnızca yorum gerektirenler için tek işe odaklanmış bir LLM hakemi.55 dk
04Hakemi insanla hizalamakBir LLM hakemine güvenmeden önce onu insan etiketleriyle karşılaştır. TPR, TNR, veri bölmeleri ve canlıdaki gerçek oranı tahmin etmek için yanlılık düzeltmesi.50 dk

Bitirdiğinde

Bir istemi kalıplarla, tahmin yerine ölçerek geliştirirsin
Kayıtlara bakıp sistemin nerede bozulduğunu bir hata sınıflamasına dökersin
Her hata türü için kodla ya da LLM hakemiyle çalışan bir değerlendirici yazarsın
Hakemi insan etiketleriyle hizalar, canlıdaki gerçek başarı oranını tahmin edersin
RAG sisteminin arama ve cevap kalitesini ayrı ayrı ölçersin
Maliyeti, gecikmeyi ve güvenlik risklerini tasarım kararı olarak yönetirsin

Ön koşullar

“Yapay zekâ mühendisi olmak” kursunun 6. ve 7. dersleri ya da eşdeğeri
Python ile bir LLM API'sine istek atabilmek

YZ destekli

Dersler yapay zekâ desteğiyle yazıldı. Değerlendirme yöntemleri ai-evals-course/evals-skills, istem kalıpları wshobson/agents ve RAG ölçümü nvidia/skills kaynaklarına dayanıyor.

0/4 ders bitti. Hepsini bitirince burada paylaşabileceğin bir kart çıkacak.

İlk kurs bir LLM uygulamasını çalıştırmayı öğretti. Bu kurs onu güvenilir hâle getirmeyi öğretiyor.

Bir demo, denediğin beş örnekte iyi çalışır. Bir ürün, hiç görmediğin beş bin örnekte de çalışmak zorundadır. Aradaki farkı kapatan tek şey ölçmektir. Bu yüzden kursun merkezinde değerlendirme var: önce verine bak, hataları adlandır, her hata için bir ölçüm yaz, ölçümün kendisini de ölç.

Kaynaklar

Kurstaki yöntemler, alanda en çok kullanılan açık kaynak eğitim materyallerine dayanıyor: evals-skills (hata analizi ve LLM hakemi), wshobson/agents (istem kalıpları, RAG), NVIDIA skills (RAG ölçümü).