Dance Dance Revolution (Çin'de dans devrimi olarak çevrilmiştir) tüm dünyada popüler olan bir ritim müzik oyunudur. Herkesin daha önce oynamış olması ya da alışveriş merkezinin atari salonunda görmüş olması gerekirdi, artık yapay zeka da bu oyunu oynayabilir!
Leifeng.com'a göre oyunun kuralı, oyuncuların dans sahnesindeki adımlarını ekrandaki desene göre ayarlaması ve müziğin ritmine göre belirli bir zamanda belirlenen sahne düğmelerine basmasıdır. Nihai karar, doğru düğmeye doğru zamanda basıp basılmadığına bağlıdır. Farklı zorluk seviyelerindeki oyunların farklı ayak izi gösterge modelleri vardır. Zorluk ne kadar yüksekse, gösterge kalıpları o kadar fazla ve sıra o kadar karmaşıktır. Dans sahnesinde yukarı, aşağı, sola ve sağa dört ok düğmesi vardır. Her düğmenin dört durumu vardır: açık, kapalı, beklet ve bırak. Dört ok tuşu bağımsız olarak etkinleştirilebilir veya bırakılabilir, böylece toplam 256 olası ayak sesi kombinasyonu vardır.
Ekrandaki dans adımı talimatları müzik yapısına göre yapılır ve farklı müzik ritimleri veya melodileri farklı dans adımlarına karşılık gelir. DDR oldukça popüler olmasına rağmen, oyuncuların da bazı şikayetleri var: Örneğin, müzik kütüphanesi sınırlı ve oyuncular bazen en sevdikleri müzikle dans edemiyor veya bu müzikle bile oyuncular set dans adımlarını sevmiyor. DDR, bu sorunu çözmek için, oyuncuların müziğin koreografisini kendilerinin yapabilmesi için bazı araçları açık kaynaklı hale getirdi. Ama aslında koreografiye sahip olma süreci çok acı verici ve çok fazla profesyonel bilgi gerektiriyor. Aşağıdaki şekil, örneğin yerleşim sürecini göstermektedir.
Birkaç gün önce, California Üniversitesi, San Diego'daki araştırmacılar, koreografiyi öğrenmek için doğrudan orijinal sesten adım talimatları oluşturabilen, otomatik olarak dans adımları oluşturmak için bir yöntem kullandılar. Bu yöntem, insan yapımı ayak izi modellerinin anlamsal bilgilerini taklit ederek öğrenir. Bu sorun iki alt göreve ayrılabilir:
Adım yerleştirme
Dans adım seçimi
Bu iki adımı sırayla çalıştırmak, oynanabilir bir dans adımı göstergesi modeli oluşturacaktır. İşlem aşağıda gösterilmiştir.
Bıçak Partisi feat şarkısının dört saniyelik dans adımlarının koreografisi yukarıdan aşağıya manuel olarak koreograflanmış dans adımları, dans adımı seçimi tahmini, dans adımı yerleştirme tahmini ve ses özellikleridir.
Koreografi öğrenme süreci esas olarak müzik bilgisine erişimdir (MIR). Dans adımlarını yerleştirme süreci, başlangıç tespitine çok benzer. Başlangıç tespitinin amacı, notalar veya davul ritimleri gibi müzikte öne çıkan olayların zaman noktalarını belirlemektir. Koreografi görevinde, tüm müzikteki tüm başlangıçlar DDR dans adımlarına karşılık gelmez, ancak DDR dans adımları bir başlangıca karşılık gelmelidir.
Veriler açısından, araştırmacılar DDR'nin etiketli verilerini kullandı: 100.000'den fazla şarkı için kullanılan ve toplam 350 Gb veri içeren Stepmania Online. Ek olarak, araştırmacılar ayrıca diğer yazarlar tarafından oluşturulan iki yüksek kaliteli veri seti topladı.
Dans adımı yerleştirme aşamasında, araştırmacılar evrişimli bir sinir ağı yapısı kullandılar. Tüm model iki evrişimli katman ve iki tam bağlantılı katman içerir. Araştırmacılar, CNN'nin performansını iyileştirmek için, daha uzun pencere bilgilerini entegre etme amacına ulaşmak için evrişimli kodlamayı RNN ile birleştiren C-LSTM modelini ekledi. Ağ yapısı aşağıdaki şekilde gösterilmektedir:
Dans adım seçimi aşamasında, araştırmacılar dans adım seçimini bir dizi oluşturma problemi olarak görürler. RNN uzun mesafeli bağlamı daha iyi yakalayabildiğinden, dil modellerini işlemede yaygın olarak kullanılan RNN modelini kullandılar. Ağ yapısı aşağıdaki şekilde gösterilmektedir:
Bu kağıt bir demo sağlar, ilgileniyorsanız kendiniz deneyebilirsiniz:
Resmi demo videosunu Youtube'da da izleyebilirsiniz: https://youtu.be/yUc3O237p9M
Daha fazla uygulama detayı için lütfen orijinal makaleye bakın: Dance Dance Convolution
Leifeng.com (genel hesap: Leifeng.com) derlemesi