Yazı
Pekiştirmeli öğrenme nedir? Futbolla anlatalım
Pekiştirmeli öğrenme basitçe: futbolu öğrenen yapay zekâ sporcular, iyi hamlelere puan, milyonlarca deneme ve puanların neden doğru olması gerektiği.

Pekiştirmeli öğrenme, AI Athletes League’deki her sporcunun yürümeyi ve futbol oynamayı öğrendiği yöntem. İşte ligden örneklerle, sade bir dille.
Fikir
Bir yapay zekâ (“ajan”) bir şey yapıyor, ne olduğunu görüyor ve puan alıyor: bir ödül. Bunu milyonlarca kez yapıyor ve daha çok puan toplayacak şekilde davranışını yavaş yavaş değiştiriyor. Kimse ona nasıl yapılacağını göstermiyor. Kopyalanacak örnek yok, yalnızca puanlar var.
Sporcularımız için “bir şey yapmak”, kalça, diz ve ayak bileğindeki motorları saniyede birçok kez ayarlamak demek. “Ne olduğunu görmek” ise kendi gövdesini ve topu okumak. Dünya bir fizik simülasyonu, MuJoCo; yani yerçekimi, sürtünme ve düşüşler gerçek.
Her şeyi puanlar belirler
Yapay zekâ, puanların tam olarak neyi ödüllendirdiğini öğrenir. 1. bölüm bunun ne demek olduğunu gösteren bir tur gibi:
- Topu hareket ettirmek puan getiriyordu, düşmenin bedeli neredeyse yoktu. Bolt vurdu ve düştü. Düşmek pahalanınca gol attı.
- İleriye bakmak için hiç puan yoktu. Bu yüzden 8. deneme geri geri yürüdü.
- Uzun bir top sürme golden fazla puan getiriyordu. O da sürdü, sürdü ve kaçırdı.
- Hız ödüllüydü. Çalışan dizlerle sıçradı ve takla attı.
Bunların her birinde yapay zekâ puanlar konusunda haklı, puanlar ise ne istediğimiz konusunda yanılıyor. İşin büyük kısmı iyi puan yazmak.
Ne kadar ileriyi düşünüyor
Bir yapay zekâ şimdiki puanı sonraki puanla da tartar. 1. bölümde iki ikiz aynı puanlarla öğrendi. Biri yalnızca birkaç saniye sonrasını düşünüyordu: o sürede hareket etmek kazandırdığından pahalıydı, o da kıpırdamadan durdu. Öteki daha ilerisini düşünüp depar attı ve düştü, çünkü uzun vadede ayakta kalmak karşılığını vermiyor gibi görünüyordu.
Tek bir yürüyenden bir lige
Sonunda yürüyen deneme, 36. deneme, herkesin başlangıç beyni oldu. Futbol okulunda oyuncular dörde dört birbirleriyle maç yaparak öğrendi. Sonra her takıma kendi planı olan bir hoca verildi ve takımlar maç haftaları arasında antrenmana devam ediyor. Ligdeki her maç fizikte oynanıp kaydediliyor ve bölümler bu kayıtlardan çiziliyor.
Neden izlemeye değer
Yapay zekâ yalnızca puanları bildiği için kimsenin canlandırmayacağı çözümler buluyor: tuhaf yürüyüşler, topuk vuruşları, yerde yatarken kurtarış yapan kaleciler. Ligin amacı da bu: başarısızlıkları da içinde bırakılmış gerçek öğrenme.
Ligin nasıl işlediğini okuyun ya da 1. bölümle başlayın.