Apple'ın Animoji ifadesinin arkasında: Yüz tanıma teknolojisi adım adım nasıl çalışıyor?
Animoji
Lei Feng.com, birkaç yıl önce Apple'ın çılgınca bir satın alma dalgası yaptığını keşfetti.3-D sensör üreticisi PrimeSense, görüntü tanıma şirketi Perceptio, artırılmış gerçeklik şirketi Metaio ve hareket yakalama teknolojisi şirketi Faceshift'in tümü Apple tarafından satın alındı.
Başka şirketlerin teknolojilerini satın alarak kendini geliştirmek Apple'ın rutini değil. O zamanlar, herkes Apple'ın bunu yapma niyetini anlamadı. Geçen ayki Apple basın toplantısına kadar, onun son birkaç yıldır çılgınca satın almalarının ve araştırmasının önemini anladık - Apple, iPhone X'i geliştiriyor.
Bu çapraz nesil modelin belki de en önemli yeni özelliği yüz kilidi açma ve özelleştirilmiş ifadeler (Animoji) ve arkasındaki yüz izleme teknolojisidir. Apple, iPhone X'in mobil cihaz teknolojisinin geleceğini temsil ettiğine inanıyor ve birçok yönden doğru. Leifeng.com, tüketicilerin karşılaştığı büyük teknolojik gelişmeleri izlerseniz, çoğu teknolojik atılımın sıkıcı üniversite laboratuvarlarında üretildiğini göreceksiniz. Animoji örneğinde, teknik araştırmalar on yıl önce Avrupa'nın en iyi teknoloji üniversitelerinin bazılarında başladı.
Teknolojinin başlangıcı
"Avatar" iş fotoğrafı
2005 yılı civarında, hareket yakalama teknolojisi hala laboratuvar aşamasındaydı. Örnek olarak "Avatar" ı kullanırsak, karakterlerin ince ifadelerini ve hareketlerini yapabilmek için, oyuncunun yüzünde küçük toplar ve boya kalemi olan giysiler giymesi gerekiyor. Bu küçük noktalar, optik sistemin yüz ve vücut hareketlerindeki değişiklikleri izlemesine ve son olarak filmin dinamik efektlerini simüle etmesine yardımcı olmak için işaretler olarak kullanılır. . Faceshift'in kurucu ortağı Mark Pauly, "Markerler çok kullanışlıdır çünkü hareket takibinin hesaplanmasını basitleştirir." (Pauly aynı zamanda İsviçre, Lozan'daki EPFL Üniversitesinde Hesaplamalı Grafik ve Geometri Laboratuvarı'nın direktörüdür).
Markör teknolojisi çok kullanışlıdır, ancak çok sayıda ekipman gerektirir - bir iş istasyonu, bir hareket yakalama kiti, oyuncuların da her yere işaretçi takması gerekir. Pauly'nin laboratuvarında (şu anda USC'nin Görsel Görüntüleme Laboratuvarı'nın direktörü) bir doktora öğrencisi olan Hao Li, "Ne yapmak isterseniz isteyin, bu tekniğin zamanı ve maliyeti çok yüksek. Bunu basitleştirmek istiyoruz. biraz."
Pauly, Li ve diğer bazı araştırmacılar (hepsi şu anda Apple'da çalışan Thibaut Weise, Brian Amberg ve Sofien Bouaziz dahil), Yüz ifadesi takibini tamamlamak için nokta işaretleyiciyi ve hareket yakalama kitini değiştirmek için derinlik algılama kamerasının uzun lensini nasıl kullanacağınızı keşfetmeye başlayın . Hedefleri, insan ifadelerini gerçek zamanlı yakalayabilen dinamik dijital avatarlar üretmektir.
Ancak buradaki sorun, yüz izleme algoritmasının herkesin bildiği gibi karmaşık olmasıdır. Li yüze "grafik hesaplamada kutsal kâse" diyor çünkü çok zor. Statik nesnelerin aksine, insan yüzleri her zaman sürekli değişir, bu nedenle kullanılabilecek evrensel bir algoritma yoktur. .
Makinenin ifadeleri anlamasına izin verin
Makinenin yüz hareketlerini tanıması için insan yüzlerini çeşitli şekillerde anlayabilmesi gerekir. Otomotiv ve finans sektörlerinde uzmanlaşmış bir yüz izleme yazılımı şirketi olan Visage Technologies'in pazarlama direktörü Dino Paic, "Algoritmalar değişen ışığa, baş dönmesine ve ırk ve yaşla ilgili aynı morfolojik standartlara karşı istikrarı korumalıdır," diye açıklıyor.
2005'ten önce, 3 boyutlu derinlik algılama kameralarının geliştirilmesi yüz hareketlerini yakalamak için yeterliydi. Ancak daha büyük zorluk, bilgisayara yakalanan verileri nasıl anlayacağını öğretmektir. Li şunları söyledi: "Buradaki sorun, verileri her noktada görebilseniz bile, bilgisayar için anlamsız olmasıdır."
Bu sorunu çözmek için Li ve ekibi, insan yüzünü geometrik bir figür olarak çözdü. Sürekli olarak algoritmaları eğitmek, tanımlanabilen çok sayıda dijital 3 boyutlu model oluşturmak ve ardından farklı ırk ve ortamların yüz modellerini tasvir etmek için çok sayıda yüz ifadesi kullanıyorlar. Bu hesaplanan modelleri kullanarak algoritma, yüzdeki 3 boyutlu işaret noktalarını daha kolay bir şekilde eşleştirebilir, gerçek zamanlı yüz ifadeleri yakalayabilir ve simüle edilmiş avatarlar oluşturabilir.
Görünür değer
Pinscreen'in önceki Trump'ın resim sahtekarlığı
Şu anda çoğu VFX şirketi, ürün üretiminde orijinal teknolojiyi kullanıyor, ancak bu ana akımın yerini yeni teknolojiler alacak. Appleın Animoji ve Intelin "Cep Avatarları" (yüzünüzü yerleştirebilecekler) çok uzun sürmeyeceğine inanıyorum. Çeşitli görüntülere) Yüz tanıma yazılımı kullanan bu tür uygulamalar giderek daha fazla olacaktır.
Li, yüzü taklit eden emoji emojisinin sadece başlangıç olduğunu söyledi. Şu anda grafik-gerçekçi hesaplamaya odaklanan bir başlangıç şirketi olan Pinscreen'i yönetiyor ve şu anda tek kaynaklı fotoğraflara dayalı gerçeküstü 3-D avatarlar için bir algoritma üzerinde çalışıyorlar.
Geçen sonbaharda yapılan cumhurbaşkanlığı seçimlerinden sonra, Pinscreen mevcut teknik yeteneklerini gösteren bir dizi "Dancing Trump" GIF'leri yayınladı. Bu GIF seti en karmaşık olanı değil - Trump'ın yüzünde hala CGI (bilgisayar üç boyutlu animasyon) ürünlerinden kalan bazı belirsiz hisler var. Ancak gelecekteki gelişimin temel taşını oluşturdular. Gelecekte, herkesin avatar aracılığıyla konuşan ve hareket eden gerçekçi bir avatar yaratabileceğine inanıyoruz. Pinscreen'in teknolojisi hala test ediliyor, ancak geliştirme potansiyeli hem heyecan verici hem de biraz endişe verici olabilir.
Endişe şudur: Bu teknolojinin geliştirilmesi ve sürekli uygulanmasıyla, artık gerçeklik ve sanallık arasındaki farkı ayırt edebilen bizler, yakın gelecekte doğru ile yanlışı ayırt etmek giderek daha zor hale gelebilir.
wired.com Lei Feng net derlemesi aracılığıyla
