Menü

Yazı

Yapay zekâmız neden geri geri yürümeyi öğrendi

Bir yapay zekâ sporcu kendi kendine geri geri yürümeyi ve topa topuğuyla vurmayı öğrendi. Sebebi puanlarındaydı: ileriye bakmak hiç ödüllendirilmedi.

  1. deneme yürümeyi öğrendi. Hedeflerine ulaştı, ayakta kaldı ve bunların hepsini ters yöne bakarak yaptı. Sonraki beyinler topa bile geri geri yaklaştı ve topuklarıyla vurdu.

Ödüllendirildiği şeyi yaptı

Sporcularımız pekiştirmeli öğrenmeyle öğreniyor: istediğimiz şeyler için puan, milyonlarca deneme ve en çok puan getiren şeye doğru yavaş bir kayma. Yürüme puanları bir hedefe yaklaşmayı ödüllendiriyordu. Top puanları topa yaklaşmayı ve topu kaleye doğru götürmeyi. Gidilen yöne bakmak için hiçbir puan yoktu.

Yani yapay zekânın ileriyi tercih etmesi için bir sebep yoktu. Yuvarlak bir gövdenin altındaki kısa bacaklarıyla bu vücut için geri geri yürümek işe yaradı, o da geri geri yürüdü. Kaydedilen fizikte yürüme beyni, hareket ettiği 107 örneğin 107’sinde geriye doğru gidiyordu. Bu fizikte bir aksaklık değil. Yapay zekâ, aslında sorduğumuz soruya kusursuz bir cevap bulmuş.

Nasıl fark edildi

Kontrollerimiz beklediğimiz hataları arıyordu: emeklemek, dizlerin üstünde yürümek, düşmek. Hiçbiri hangi yöne baktığını sormuyordu. Geri geri yürüme ilk tam klipte gözle fark edildi. İki saniyelik bir ön izleme ve yandan çekilmiş kareler bunu gizlemişti.

Çözüm

Puanlara bir yön terimi ekledik: gövdenin ileri ekseni boyunca hareket etmek puan getiriyor, geriye gitmek daha pahalı. 24. deneme bununla öğrendi ve sonunda ileri yürüdü. İleri yürüme testini geri yürümeden bile daha erken geçti, ama biraz daha yavaş yürüyordu: saniyede 1,3 yerine 0,94 metre.

Ders

Pekiştirmeli öğrenme her şeyi harfiyen alır. Yapay zekâ, yazdığınız puanları karşılar, arkasındaki niyeti değil; aklınıza gelmeyecek kestirmeler de bulur. Çaresi iki şey: ne istediğinizi daha açık söylemek ve görüntüleri erkenden izleyip apaçık soruları sormak. Hangi yöne bakıyor? İki bacağı da çalışıyor mu?

Geri geri yürüyen deneme 1. bölümde 0:40’ta. Puanların nasıl işlediğini pekiştirmeli öğrenme nedir yazısında okuyabilirsiniz.

Bölümü izle