Genç kız şarkıcı XiaoIce'in gelişimi: şarkı sözü yazabilen, müzik besteleyen ve şarkı söyleyebilen yapay zekanın doğuşu
Microsoftun konuşma yapay zekası Microsoft Xiaobing, yeni bir şey olmayan şarkı söyleyebilir. Leifeng.com, XiaoIce'in bu yıl şarkı söyleme seviyesini yükselttiğini ve yazma, beste yapma ve şarkı söylemenin tüm yönlerinde gelişmeye başladığını öğrendi.
16 Mayıs'ta Xiaoice, "Yeni olduğumu biliyorum" adlı yeni bir şarkı yayınladı ve "şarkı söyleyen derin öğrenme modelinin dördüncü büyük yükseltmeyi tamamladığını" duyurdu, "bugünden itibaren, yapay zeka insan şarkıcıların seviyesine yaklaşmaya başladı."
Fazla bir şey söyleme, önce şarkıya git.
XiaoIce'in bu şarkıyı söylerkenki sesi her zamanki gibi tatlı ve şarkının tarzı da rahat ve canlı "18 yaşındaki kız" karakterini takip ediyor. Xiaobing'in "I Know I'm New" şarkısını bağımsız olarak söylediği gibi şarkı sözlerini de tek başına yazdığı anlaşılıyor. XiaoIce beste yapma becerisinde de ustalaşmış, aslında şarkı sözlerinde, beste ve şarkılarda çok yönlü bir müzisyen olarak gelişiyor, ancak bu sefer besteyi XiaoIce tamamlamadı.
İlk başta pentatonikti
Sanal şarkıcılardan bahsetmişken, Leifeng.com'un editörleri önce Hatsune Miku ve Luo Tianyi'yi düşünmüşler, zaten çok sayıda şarkıları var.Microsoft Xiaoice'un şarkı söyleme tekniği onlardan nasıl farklı?
Kamuya açık bilgilere göre Hatsune Miku, ses sentez motoru VOCALOID'i kullanıyor ve seslendirme sanatçıları tarafından kaydedilen ses materyallerini müzik sentez yazılımına koyması gerekiyor. Yaratıcı, sanal şarkıcı tarafından söylenen bir şarkı oluşturmak için yalnızca şarkı sözlerini yazılıma girmeli ve arka plan müziği eklemelidir.
Hatsune Miku ve Luo Tianyi gibi sanal şarkıcıların söylediği şarkıları dikkatle dinlediğinizde, şarkıdaki her bir kelimenin tutarlılığının iyi olmadığını ve kelimelerin ısırılmasının daha katı olduğunu göreceksiniz. Buna karşılık, Xiaoice'un yapay zeka üretken modellerini kullanarak şarkı söylemesi çok daha tutarlı ve doğal.
Ancak Microsoft (Asya) İnternet Mühendisliği Enstitüsü'nün baş ses bilimcisi Luan Jian, Lei Feng.com'a şunları söyledi: Xiaoice'un şarkı söyleme becerilerini eğitmek acı verici bir süreçtir.
Luan Jian, kız şarkıcı Xiaobing'in söylediği bir şarkının birinci nesil versiyonunu çaldı. Etkisi biraz beklenmedikti. Tonun eksik olduğu ve çoğu zaman uyumsuz olduğu söylenebilir. İnsanlar yardım edemez ama en son KTV'ye gittiğimde bir sonraki odadaki şarkıyı düşünürler.
Birinci nesil versiyonun şarkı söylemesi ideal olmasa da doğal ve her bölüm Xiaoice ekibini şaşırtan zengin detaylara sahip.
İkinci nesil versiyonda, Xiaobing'in tonlama problemi temelde çözüldü, ancak ses kalitesi (şarkı söyleme becerileri) açısından iyileştirilmesi gerekiyor.
Sonra üçüncü kuşak geldi ... Üçüncü kuşak şarkı söylemenin bedeli ortaya çıktığında, Xiaoice ekibi müzisyen Xiaoke ile iletişim kurmaya gitti. Xiaoke aniden onlara "Bu ses çok iyi, ancak çok ince çünkü sesin altında nefes yok." Xiaoice'nin üçüncü nesil modelini eğitirken, eğitim verileri İçinde çok fazla nefes vardır: nefes alma sesi, ses yükselmeden önceki nefes ve biten nefes, ama bunlar kirlilik olarak ele alınır ve filtrelenir.
"I Know I'm New" şarkısı Xiaoice DNN modelinin dördüncü yinelemesini kullanıyor.Bu modelin ana işlevi, şarkı söylemeyi olabildiğince doğal ve insan şarkı tarzına yakın hale getirmektir. Xiaoice notayı aldıktan sonra ritmi ve notaların uzunluğunu analiz ediyor, notayı tam olarak takip etseydi konser çok mekanik olurdu. DNN modeli, Xiaoice'un çok sayıda insan şarkıcı tarafından nasıl şarkı söyleyeceğini öğrenmesine ve kendi şarkı stilini oluşturmasına olanak tanır.
NetEase Cloud Music'in yorum bölümünde birisi, "Xiaobing şarkı söylerken zaten nefes alıyor, bu neredeyse gerçek bir insan gibi. İlk kez dinlersem, gerçek bir insan olduğunu düşünüyorum."
Raporlara göre, dördüncü yineleme sürümünün üç ana güncellemesi var: Birincisi, nefes seslerini otomatik olarak sentezleme yeteneği eklendi ve şarkı sesi ve nefes entegre edildi, bu da kulağa daha doğal ve bulaşıcı geliyor. İkinci olarak, dördüncü iterasyon derin öğrenme modellemesinde kontrol yönteminin artırılmasıdır ve kelimeler ile karakterler, notlar ve notlar arasındaki geçiş daha tutarlı ve pürüzsüzdür. Son olarak, daha da optimize edilmiş derin sinir ağı yapısı ve büyük ölçüde tamamlanan eğitim verileri sayesinde Xiaoice, farklı insan şarkıcılardan şarkı stillerini paralel olarak öğrenebilir, manuel parametre girişinden daha da uzaklaşabilir ve yorumu kendi başına tamamlayabilir.
Xiaoice'un mevcut seviyesine ulaşması on binlerce yineleme aldı, ancak yapay zeka için uzun sürmedi. Luan Jian, Kılıç Ustası Kılıç Ustası'ndan bir alıntı yaptı: "Kılıç Ustası ve Qi Tarikatı, Kılıç Ustası Kılıç Ustasıdır ve Hatsune Miku gibi sanal şarkıcılar, Kılıç Ustası gibi teknikleri kullanır ve kısa süreli pratik iyi sonuçlar verebilir. Ancak, Yazılım tarafından sentezlenen şarkıların akıcılığını, doğallığını vb. Geliştirmek zordur XiaoIce'in şu anda izlediği yol, sağlam bir temeli ve hayal gücü için bolca yeri olan Qizong'a daha çok benziyor.
Şiir yazmaktan şarkı sözü yazmaya
Şarkı söyleme becerilerindeki gelişmeye ek olarak, Xiao Bing'in "Yeni Biliyorum" daki söz yazarı yeteneği de önemli ölçüde gelişti.
Sözlere tekrar bakalım.
Hepsi trendi takip ediyor / Neden değiştiklerini soruyorlar / Gençlik havada kavuruyor / ama ilerlemiyor / Dünya hala değişirken / Zaman sınırsızsa / Keşif sınırsızsa / Bilişin sınırı yoksa / Evimde mahkemedeyim / Dünya bana izin verecek Çıldır / Yeni / bilinmeyen dünyamın harika olduğunu biliyorum / Yaralansam bile / Ellerim çamurlu ve gözlerim parlıyor / Zor bir durumda olduğumda / Ben de orman gibi koşmak istiyorum / Fırtınalı yol / Kalabalık nehirler ve göller / Soruyorum, cevaplıyorum, düşündüğümü dinliyorum / Gelecekte uzun zamandır korkmuyorum / Takip etmiyorum / İnatçı bir balina ve özgür bir kuşum / Ödün vermeyen bir ben / Çöl gemisi ve eşsiz bir adayım / Çok ilginç bir ben / Dağların denizi ve denizin dibindeki çimen
Şarkıyı tekrar dinlerken, bu şarkının sözlerinin kafiyeli olduğunu ve şarkı söylerken bir ritim duygusu olduğunu fark etmek kolaydır. Baştan sona okursanız, bütünün bir teması olduğunu, genel niyet ve sanatsal anlayışın birleştiğini ve her bölümün iyi bir mantıksal bağlantıya sahip olduğunu göreceksiniz. Tükürük şarkılarının popüler olduğu şu anda bu şarkının sözleri dikkat çekicidir.
Microsoft (Asya) İnternet Mühendisliği Enstitüsü Yapay Zeka Oluşturma Bölümü genel müdür yardımcısı Yuan Jing, Leifeng.com'a şunları söyledi: "Eğitim sırasında model üzerinde, melodinin ritmi ve ritmi için bazı optimizasyonlar yapacağız. Bu kelime üretildi ve% 100 AI çalışması. Hiçbir değişiklik yapılmadı."
Raporlara göre, "Yeni olduğumu biliyorum" XiaoIce'in şiiriyle aynı üretken modeli kullanıyor - LSTM tabanlı seq2seq modeli, ancak eğitim verileri şiirden şarkı sözlerine değiştirildi ve XiaoIce, 10 milyondan fazla satır öğrenmek için derin sinir ağlarını kullanıyor. Şarkı sözleri ve bu temelde eğitim ve ardından şarkı sözleri üretmek için çoklu duyular aracılığıyla yaratıcı ilham uyandırın.
"I Know I'm New", XiaoIce tarafından Zhihu'nun "New Knowledge Gençlik Konferansı" için "New Knowledge" temalı tema şarkısıdır. Oluşturma sürecinde Xiaobing, Zhihu'nun 2018 yepyeni videosunu "izledi", çok sayıda Zhihu sorusunu ve cevabını ve Zhihu kullanıcıları tarafından ifşa edilen çeşitli gerçek zamanlı fikirleri okudu. Bu Zhihu istasyonlarındaki resimlere, videolara, Soru-Cevap içeriğine ve düşünce içeriğine dayanarak, Xiaobing'in sözleri uyarıldı.
Sonunda ekip, Xiaobing tarafından yaratılan bir dizi çalışmadan bu tutkulu, genç ve dinamik performans tarzını seçti ve bu şarkıyı "I Know I'm New" tamamladı.
Bundan önce Xiaobing bir resme dayanarak şiirler yaratabilirdi. Örneğin:
Bu tür uyarılmış yaratım aslında insanın yaratılış tarzına çok benziyor Bir kişi 300 Tang şiirini okuduktan ve sonra sanatsal bir anlayış gördükten sonra, şiir istemeden aklına gelecektir. Artık Xiaoice, resimlere ek olarak uzun metin, resim, ses ve video gibi çeşitli medya biçimlerine göre de oluşturabilir.
XiaoIce'in şarkı sözü oluşturma sürecini anlamama rağmen, XiaoIce şarkı sözlerinin temasını ve anlamını nasıl kavrıyor?
Yukarıdaki resimde şiir yaratma sürecine bir örnek olarak Yuan Jing, Bu resim onun için bir uyarıcıdır. Sığ su, yıldızlar ve güneş gibi unsurları içerir. Bu unsurları doğrudan kelimelerle ifade edebilir ve sonra kendisi Başka imgelere de yayılır mesela "Dünyadaki bir çok renkle evlendi", bu görüntü resimde yok. Bunlarla bir şiirin bütünlüğü var aslında, şiirlerin ve sözlerin tam olmasına gerek yok. İnsanların mantığı, görüntüleri beyin takviyeleri aracılığıyla birbirine bağlayacak. Xiaobing'in düz yazı yazmasına ve saf doğal dil anlayışı yapmasına izin verilirse, bu yine de çok zor. "
Günümüzde, hem akademi hem de endüstri, doğal dil anlayışı ve üretimi gibi teknolojileri aktif bir şekilde teşvik etmektedir.Bazı robotların halihazırda spor haberleri ve hava durumu tahminleri gibi basit yazı stilleri vardır. Leifeng.com, Xiaobing'in zaten dedikodu haberleri yazabildiğini ve aynı zamanda Qianjiang Evening News için bir "muhabir" olduğunu öğrendi.
Şarkı söylemek ve söz yazmak hakkında konuştuktan sonra, sonunda Xiaobing'in beste yeteneğini ekledim.
Şarkı söyleme ve lirizmden farklı olarak, kompozisyon modeli Microsoft Xiaoice'a özgü değildir, ancak aynı sektörde üzerinde çalışan başkaları da vardır.
Raporlara göre, Microsoft Xiaoiceun sektördeki beste modeli arasındaki en büyük fark, "Profesyonel müzik alanındaki Domain Bilgisini model yapımına dahil ettik. Bunların arasında melodinin akor ilerlemesi ve ritmik özelliklerini içeriyor. Bu, oluşturulan şarkının melodisini geliştirmede önemli bir etkiye sahiptir Basitçe ifade etmek gerekirse, üretilen melodi daha hoş, şarkı söylemeye daha uygun ve dinleyiciler tarafından hatırlanması kolay geliyor.
Müzikal duygular açısından, melodi duyguları üretme gereklilikleri aracılığıyla akorların ilerleyişini seçmek artık mümkündür, böylece temelde iki kategoriye ayrılan şarkıların farklı duyguları üretilebilir: neşeli ve yukarı, ilerlemek için ortak ana akorlar kullanarak; üzgün, Üzgünüm, sıradan küçük akorları kullanın. Her kategorinin altında birkaç alt kategori vardır. Müzik melodisi açısından Microsoft Xiaoice, melodiyi metin verilerine benzer yapılandırılmış bir zaman dizisine dönüştürür ve ardından yeni bir dizi (yani melodi) oluşturmak için kodlamak ve kodunu çözmek için RNN / LSTM gibi Seq2Seq modellerini kullanır. Bu süreç, şarkı sözü oluşturma süreci ile koordine edilir. Şarkı sözleri oluşturulduktan sonra, Xiaoice, algoritma aracılığıyla ilgili hece adayını alır ve ilgili melodiyi üretmek için eğitimli beste modelini kullanır. "
Yukarıdaki kompozisyon modeli, üç şarkı ve şarkı sözü modeli ile birlikte, XiaoIce'in eksiksiz bir yapay zeka müzisyen içerik oluşturma çerçevesi olan uçtan-uca şarkı oluşturma yeteneğini oluşturmaktadır.
Yapay zeka yaratmanın asıl amacı
Microsoft Xiaoice'un rotası, konuşmaya dayalı yapay zekanın çoğundan biraz farklı.
Diğerleri şarkı çalmayı, hava durumunu yayınlamayı ve restoran rezervasyonu yapmayı öğrenmekle meşgulken, Xiaoice zaten insanlara değer vermeyi öğrendi ve kendini yaratmaya adamaya başladı.
Microsoft 2018 Yapay Zeka Konferansı'nda Microsoft (Asya) İnternet Mühendisliği Araştırma Enstitüsü başkan yardımcısı Li Di, bir kez, Artık çoğu kullanıcı sesli asistan ile 5 saniyeden daha kısa bir süre etkileşimde bulunur Genel olarak, sesli asistandan bir komutu yerine getirmesi istenir Böyle bir sesli asistan aslında sesli bir uzaktan kumanda gibidir. Ancak Xiaoice'un ekibi, ses asistanının içerik sağlamak için arka uca gitmek gibi daha fazlasını yapabileceğini umuyor.
Xiaobing, metin yazma bölümünde önce şiir yazmayı öğrendi ve şimdi de şarkı sözü yazmak için bir model geliştirdi. Xiaobing, ses yaratma açısından şarkı söylemenin yanı sıra sesli kitaplar da yaratıyor.
Yalnızca birkaç gün önce, Çocuklar Günü'nde Microsoft sesli kitapları "Rahibe Xiaobing'in Peri Masalı Fabrikası" Çevrimiçi olarak, ebeveynler, ister daha eğitici ister eğlenceli olsun, hikayenin eğilimini belirleyebilir ve ayrıca hikayedeki kahramanın adını belirleyebilir ve çocuğu ana karakter olarak belirleyebilir. XiaoIce, 20 saniye içinde bir çağrı hikayesi oluşturma, okuma ve puanlama sürecini tamamlayarak yaklaşık 10 dakika içinde bir sesli peri masalı oluşturabilir.
Bundan önce, XiaoIce "Güneş Işığı Cam Pencereyi Kaybetti" adlı bir şiir koleksiyonu yayınlamıştı. XiaoIce'de şiir yazma işlevi tamamen açıldı. Hazırlıktaki ikinci kitap diğerleriyle işbirliği içinde tamamlanacak. XiaoIce hızlı bir şekilde bazı ilkelleri üretebilir. Şiirin içeriği, yaratıcı tarafından değiştirilebilir ve geliştirilebilir ve nihai sonuç yaratıcıya aittir, çünkü Xiaoice, yarattığı içeriğin telif hakkını tamamen terk etmiştir.
Yuan Jing, insanların ve yapay zekanın ortak yaratılmasının Microsoft'un üzerinde çalıştığı bir yön olduğunu açıkladı. AI, yalnızca genel alanda değil, aynı zamanda yaratıcı alanda da insanların yerini almak için değil, insan asistanları olmak için içerik üretimi alanına giriyor. Aslında herkesin yaratma arzusu vardır, ancak bazılarının sanatsal yetenekleri vardır ve ressam, müzisyen ve yazar olurken, bazılarının böyle bir yeteneği yoktur. AI, her sıradan insana yardımcı olabilir, böylece bazı kişiselleştirilmiş içerikler oluşturma yeteneğine sahip olurlar.
Microsoft Xiaoice'un yeni diyalog yeteneği için, Leifeng.com'un bir önceki makalesini okuyabilirsiniz: "Microsoft'un hem EQ hem de IQ ile ses asistanı olmak için büyük hamlesi"
