SenseTime Araştırma Enstitüsü Dekanı Wang Xiaogang: SenseTime algoritması 400 milyondan fazla cep telefonuna hizmet veriyor ve yapay zeka ile donanımın derin entegrasyonu deneyim yükseltmelerine yol
2018 yılına bakıldığında, yapay zeka cep telefonlarının geliştirilmesinde "yeni motor" haline geliyor. 2018'de Shangtang, cep telefonu işinde büyük başarılar elde etti: "3D yüz tanıma, 3D yüz yeniden yapılandırma ve mikro şekillendirme, yüz kilidi açma, AI akıllı çift kamera, süper çözünürlük, 3D gerçek zamanlı insan izleme, 3D bulanıklık, AI portre ışık efekti OPPO, vivo, Xiaomi, Huawei, Meizu, OnePlus gibi cep telefonu ürünlerinde Animoji, Body, SLAM, AR kamera, AR navigasyonu, AR ölçümü "ve diğer birçok teknoloji uygulanmış ve kullanıcılar tarafından geniş bir şekilde beğeniyle karşılanmıştır. SenseTimeın AI işlevi, tüm ana müşterileri ve uzun vadeli müşterilerin% 80'ini kapsar.
Öyleyse, SenseTime neden cep telefonu üreticilerinden yüksek tanınırlık kazanıyor? Son iki yılda cep telefonu donanımı ve AI yazılımının rollerinde neler değişti? SenseTime, kuruluşundan bu yana üretim, eğitim ve araştırma entegrasyon modelini seçti ve ona bağlı kaldı. Temel neden nedir? Yaratıcı bir yapay zeka ekibi yetiştirmek ve yönetmek? 2019'da AI cep telefonu endüstrisindeki trendler nelerdir? Bu soruları yanıtlamak için Shangtang Technology'nin kurucu ortağı ve Enstitü Dekanı Profesör Wang Xiaogang, Derinlemesine bir konuşma.
Profesör Wang Xiaogang, Shangtang Technology'nin kurucu ortağı, araştırma enstitüsünün dekanı ve seçkin bir bilim insanıdır.Ayrıca Hong Kong Çin Üniversitesi Elektronik Mühendisliği Bölümü'nde doçenttir. Profesör Xiaogang Wang, Çin Bilim ve Teknoloji Üniversitesi Junior Class'tan mezun oldu ve 2001 yılında elektronik mühendisliği ve bilgi bilimi alanında lisans derecesi; 2004 yılında Hong Kong Çin Üniversitesi'nden bilgi mühendisliği alanında yüksek lisans derecesi ve 2009 yılında Massachusetts Teknoloji Enstitüsü Yapay Zeka Laboratuvarı'ndan bilgisayar bilimi alanında doktora derecesi aldı.
Profesör Wang Xiaogang'ın araştırma alanları arasında bilgisayarla görme ve makine öğrenimi yer alıyor. En iyi uluslararası dergilerde ve konferanslarda 200'den fazla makale yayınladı ve makaleleri Google Scholar'da 17.000'den fazla alıntı yapıldı. Aynı zamanda en iyi uluslararası bilgisayarla görme konferansları CVPR 2017, ICCV 2011, ICCV 2015, ICCV 2017, ECCV 2014, ECCV2016, ACCV 2014 ve ACCV 2015'in saha başkanıdır.
2018 Özeti: Mükemmel transkriptler birikim, sistem ve modelden gelir
S: 2018'de Shangtang AI teknolojisi, AI çift kamera bulanıklaştırma, yüz 3B yeniden yapılandırma, süper çözünürlük, 3B insan vücudu gerçek zamanlı izleme gibi cep telefonlarında birçok uygulamaya sahip ve OPPO, vivo, Xiaomi ve Huawei gibi cep telefonu üreticileri ile işbirliği yapacak. Her ikisinin de işbirliği var SenseTime'ın cep telefonu işindeki mükemmel sonuçlarının nedenleri sizce nedir?
A (Wang Xiaogang): Öncelikle müşterilerimize ve endüstriyel zincir ortaklarımıza SenseTime'a olan güvenleri ve destekleri için teşekkür ederiz. Sanırım SenseTime'ın müşteri tarafından tanınması için birkaç faktör var. İlki birikim. SenseTime AI'yı cep telefonlarına daha önce getirdi ve nispeten derin bir birikimimiz var. Örneğin, 2014 yılında Shangtang, akademik dünyada derin öğrenmeye dayalı süper çözünürlük teknolojisini ilk kez önerdi ve ilgili patentlerin en eski serisine sahip. Dört yıllık cilalamanın ardından nihayet 2018'de vivo X23 cep telefonuna indi. Örneğin, somatosensoriyel oyunlarda, birkaç yıllık insan vücudu kilit nokta teknolojisi biriktirdik. Diğer bir örnek AR'nin SLAM'idir, Zhejiang Üniversitesi-Shangtang 3D Vision Ortak Laboratuvarı'nda on yıldan fazla birikimimiz var. Derin birikim, sürekli yeniliğin garantisidir.
Vivo X23 Symphony Edition'a uygulanan SensePhoto süper çözünürlük teknolojisi
İkincisi sistemdir. Örneğin, SLAM, biz, çift kamera ve çoklu sensör füzyonuna dayalı SLAM tabanlı görsel SLAM'den SLAM'a kadar eksiksiz bir SLAM teknolojisi sistemiyiz. SLAM teknolojisi temelinde, navigasyon, yeniden yapılandırma, AR ölçümü ve AR kamera gibi birden fazla uygulamaya sahibiz. Eksiksiz bir teknoloji ve ürün sistemi, müşteri ihtiyaçlarını daha iyi karşılayabilir ve müşteriler için değer yaratabilir. Gelecekte, bu cep telefonlarında cilalanan teknolojiler, daha büyük bir AI ekosistemi oluşturmak için İnternete ve IoT'ye de uygulanabilir.
Ayrıca bu Shangtang'ın yapısından kaynaklanıyor, soruna bakıyoruz ve geleceğe odaklanıyoruz. Örneğin, Shangtang SenseAR platformu, Google'ın ARCore ve Apple'ın ARKit'ine karşı bir karşılaştırma ölçütüdür ve aynı zamanda farklılaşmayı da yansıtır. Pek çok insan SenseTime'ın uluslararası devlerle rekabet etmenin zor olduğunu düşünüyor, ancak SenseTime'ın amacı, teknolojimizi en temelden sağlamlaştırmamızı gerektiren cep telefonlarında uzun vadeli planlar yapmaktır. SenseAR platformu artık birçok uygulamayı destekliyor ve gelecekte daha fazlası olacak.
OPPO, SenseTime ile oluşturulan OPPO AR geliştirici platformunu yayınladı
S: İnsan vücudu tanıma ile ilgili olarak, SenseTime'ın aslında güvenlik alanında uygulamaları var.Güvenlik alanındaki uygulama ile cep telefonu alanı arasında herhangi bir fark var mı?
C: Cep telefonlarındaki doğruluk ve gerçek zamanlı gereksinimler daha yüksek olacaktır çünkü bu, doğrudan kullanıcı deneyimiyle ilgilidir. Örneğin cep telefonunda yaptığımız 3 boyutlu somatosensoriyel oyun, oyundaki karakterleri vücut hareketleri ile kontrol etmektir ve bu kontrollerin çok doğru olması gerekir.
SensePosture3D insan iskeleti algılama algoritması, OPPO R17 Pro somatosensoriyel oyunlar için destek getiriyor, resim resmi ColorOS topluluğundan
Güvenlik alanı esas olarak tanımlamadır, ancak kimliklendirmenin yanı sıra cep telefonlarında da yeniden yapılanma ve sentezleme vardır.Örneğin güzellik uygulamasında insan vücudunun kilit noktalarının konumlandırılmasında ve insan vücudu segmentasyonunda hafif bir sapma varsa arka plan ve karakterler bozulacaktır. Bu anlamda, cep telefonları teknoloji konusunda daha talepkar ve katıdır.
Yapay zekanın rolü, donanım eksikliklerinin giderilmesinden yapay zeka için özel olarak tasarlanmış donanıma kadar değişti
S: Son iki yılda cep telefonu yapay zeka yazılımı, donanım araştırma ve geliştirme yönünü kademeli olarak etkiledi.Bu değişiklik hakkında ne düşünüyorsunuz?
C: Cep telefonu donanımı ve yapay zeka arasındaki ilişkide üç aşama vardır: ilk aşama, donanım eksikliğini telafi etmek için yapay zeka; ikinci aşama, yapay zeka yenilikçiliğini teşvik etmek için donanım; üçüncü aşama, donanımın bir kısmının özel olarak yapay zeka için tasarlanması ve yapay zeka ile donanımın birleştirilmesidir Yenilik.
Başlangıçta yapay zeka, donanım eksikliğini telafi etmekti.Örneğin, fiziksel sınırlamalar nedeniyle cep telefonları SLR efektleri üretemedi. Bazı işlevleri yapay zeka aracılığıyla uygulamaya çalışabiliriz. Başka bir örnek olarak, bir cep telefonu derinliği tahmin etmek için iki kamera kullanır ve ardından portre ile insan vücudunu bölümlere ayırır. 2016 yılında, Shangtang, OPPOR9'larda AI algoritması aracılığıyla tek bir kameranın portre segmentasyonunu gerçekleştiren ilk kişi oldu, böylece arka planı bulanıklaştırdı, donanım eksikliğini telafi etti ve maliyetleri düşürdü.
Daha sonra donanım, yapay zekanın inovasyonunu teşvik etti.Örneğin, cep telefonlarında derinlik kameralarının ortaya çıkmasıyla, 3D yüz kilit açma, 3D yüz yeniden yapılandırma, AR ölçümü ve bir dizi somatosensoriyel oyun yapılabilir. Ek olarak, NPU'nun ilk görünümü, orijinal cep telefonu çipinin sinir ağları için işlem gücünü birçok kez artırdı ve AI için daha fazla bilgi işlem gücü sağladı.
SenseMatrix AR ölçümü, OPPO R17 Pro'nun AR cetvel işlevi oluşturmasına yardımcı olur
Bugün, bazı donanımlar özellikle yapay zeka için tasarlanmıştır ve yapay zeka ile donanım birlikte yenilik yapar. Yeni nesil 3B kameralar ve NPU (yerleşik sinir ağı işlemcisi) donanım yenilikleri, yapay zeka etrafında dönüyor ve tüketicilere değer katmak için yapay zeka algoritmalarıyla entegre edilmesi gerekiyor. Bu değişiklikler, yapay zeka teknolojisi sağlayıcılarını ve endüstri zincirini büyük ölçüde destekledi. Ortaklar arasında daha yakın işbirliği ve müşterilere hizmet verme yeteneğini geliştirin.
Qualcomm, geçen yılın Aralık ayında, SenseID 3D ToF yüz kimlik doğrulaması, SensePhoto AI süper çözünürlüğü, SensePhoto AI gece görünümü ve SensePhoto dahil olmak üzere güçlü AI yeteneklerine sahip dünyanın ilk ticari 5G mobil platformu Snapdragon 855'i piyasaya sürdü. AI çift kamera bulanıklığı ve diğer yenilikçi teknolojiler.
MediaTekin geçen yıl Aralık ayında piyasaya sürülen yeni nesil mobil platformu Helio P90, amiral gemisi AI hesaplama gücüne sahip ve aynı zamanda yakalanan karakterlerin dış hatlarını ve dış ortamın sınırlarını gerçek zamanlı olarak tanıyabilen ve bölümlere ayırabilen SenseColor portre renk tutma teknolojisi ile donatılmıştır.
Yapay zekanın önemli bir destekçisi olarak SenseTime, gelecekte daha fazla yenilik yapacak ve tüm endüstrinin gelişimini desteklemek ve kullanıcıların çoğuna daha iyi hizmet vermek için ortaklarla birlikte çalışacaktır.
Rüzgarda balık tutmayın, üretim, eğitim ve araştırmanın entegrasyonu inovasyonun kaynağıdır
S: SenseTime her zaman üretim, eğitim ve araştırmanın entegrasyon modeline bağlı kalmıştır.Avantajları nelerdir?
C: Üretim, eğitim ve araştırmanın entegrasyonu Shangtang'ın yeniliğinin kaynağıdır. Bir teknolojinin cep telefonuna uygulanması 3 ila 6 ay sürebilir, ancak bu teknolojinin birikmesi birkaç yıl almış olabilir.
Artık birçok şirket, üniversite yapay zeka profesörlerini sektöre katılmaya davet ediyor. Bir süre sonra, biriktirdikleri akademik başarıları iniş teknolojilerine dönüştürecekler. Ardından endüstri hemen bir sonraki yeni teknolojinin ne olduğunu soracak mı? Sektörün yapay zeka talebi çok yüksek. Acil. Bazı profesörler sektöre girdikten sonra sürekli yaratıcılığın kaynağını kaybetti ve sürekli yenilik sağlamak için öğrencileri bir toprağa sahip olmaları için eğitmeye devam etmeleri gerekiyor. Böyle bir kaynak kesilirse, balıkçılık sonucu ortaya çıkacaktır. Üretim, eğitim ve araştırmanın entegrasyonu, onu teşvik etmek için çeşitli yeni teknolojileri sürekli olarak özümsemelidir ve bunu teşvik etmek için, bunu yalnızca bir Shangtang şirketi aracılığıyla tamamlamak zordur.Akademik ve endüstriyel çevreler için bir kazan-kazan ekosistemi kurmak gereklidir.
SenseTime, Dünya Yapay Zeka Konferansı'nda 15 üniversite ile "Küresel Üniversite Yapay Zeka Akademik İttifakı" başlattı
S: Üretimin araştırmaya karşı ters bir promosyonu var mı?
C: Evet, laboratuvardan çıkardığımız şeylerin çoğu prototipler.Cep telefonlarındaki gerçek uygulamanın derinlemesine cilalanması gerekecek.Cep telefonu üreticileri cilalandıktan sonra çok güçlenecek ve tekrar akademik sona dönecek. Örneğin, Shangtang'ın SenseAR platformu laboratuvardan çıktı ve derinlemesine bir cilalama sürecinden geçti, sadece geliştiricilere değil, bazı modülleri akademik ortaklarımıza da açık olacak. Akademik ittifakımız, ilerlemeden önce dev SenseAR'ın omuzlarında durmaya eşdeğerdir. Bazı sonuçlar elde ettiklerinde, platformun gelişmeye devam edebilmesi için SenseAR'ın bazı modüllerine katkıda bulunacaklar.
Buna ek olarak şirket, 3B teknolojisinin araştırılması ve geliştirilmesi gibi araştırma için bazı yeni araştırma konuları da sunacak. Cep telefonlarında 3B sensörlerin ortaya çıkması, kaçınılmaz olarak 3B verilerde büyük bir zenginleşme sağlayacaktır. Orijinal İnternet görüntüsü ve video verileri esas olarak 2B'dir ve çok büyük 3D verilerle daha fazla yeni araştırma konusu yapabilirsiniz.
S: Gelecekte çok sayıda 3B veri ortaya çıkarsa, yeni ve farklı bir ekoloji türetilebilir.
C: Evet, bu daha fazla araştırma ve yeniliği teşvik edecek, yenilik boşlukta yapılamaz, toprak olmalı, endüstri onlara böyle bir toprak sağlayabilir.
Bir takım büyümek için "Nirvana" yı deneyimlemelidir
S: Ekibi geliştirme konusunda herhangi bir deneyiminiz ve deneyiminiz var mı?
C: Akademik araştırmadan endüstriyel inişe nispeten büyük bir mesafe var Shangtang'ın araştırmacılarından bazıları üniversite laboratuvarlarından geliyor. Ekibimiz olgunlaşmak için "Phoenix Nirvana" sürecinden geçmelidir. Pek çok projenin artık mümkün olmadığını hissettik ve neredeyse çaresizdik, son nefesimizde direndik ve başarıya ulaştık.
Bir teknolojinin cep telefonlarımıza inmesi "Ekim hamileliği" gibidir ve son dakikada çok sancılı bir süreçtir. İnişten sonra ekip olgunlaştı ve bir dahaki sefere böyle bir süreçten nasıl geçeceklerini bilecek ve daha önemli sorumluluklar alabilecekler.
Ayrıca bir teknoloji başlangıçta güçlü bir tazelik hissine sahip olabilir ve daha sonra birçok detaylı problemle karşılaşacak ve müşterilerin çeşitli ihtiyaçları ile karşılaşacaktır.Şu anda ekibin tazeliği ortadan kalkmıştır. Bu durumda, ekibin savaş etkinliğini korumaya nasıl devam edileceği çok önemlidir.
2018'in başında, cep telefonu ekibine yaptığımız ilk şart, müşterilere saygı duymak ve ikincisi, nihaiin peşinde koşmaktı. Önce müşterilerin ihtiyaçlarını dikkatlice dinlemeli, ardından ürünlerdeki nihai deneyimi takip etmeliyiz, her köşede, her kusurun çözülmesi gerekiyor. Artık SenseTime algoritmasını kullanan 400 milyondan fazla cep telefonu olduğuna göre, SenseTime'ın ürünleri ve teknolojileri sonunda binlerce haneye girecek ve halka en uç deneyimi yaşatacak.
Shangtang hızla büyüdü, Shangtang'ın bir bisiklet gibi olduğu ortaya çıktı.Fren yoksa (kalite kontrol) en fazla kendini zedeleyecek, şimdi bir spor otomobil, fren yoksa çok yıkıcı olacak. SenseTime pazara daha fazla değer sağladığında, sorumluluğumuz daha da artacaktır.Bu nedenle müşterilerimize saygı duymalı ve nihai deneyimi sürdürmeliyiz.
2019'u dört gözle bekliyoruz: 2D'den 3D'ye, 5G daha fazla video işleme ihtiyacı getiriyor
S: 2019'da yapay zeka cep telefonlarının gelişme eğilimi hakkında ne düşünüyorsunuz?
C: 2019'da birkaç trend var. NPU'nun ortaya çıkışı, AI bilgi işlem gücünün avantajlarını tamamen ortaya çıkaracak ve AI'nın potansiyelini oynayacak; 5G'nin inişiyle bulut ve son daha yakından entegre olacak; hızla yeni bir 3D çağına doğru ilerliyoruz , Yapay zeka ve AR platform yeteneklerinin açılmasıyla birlikte, devasa 3D veriler tarafından hayata geçirilen muazzam değişiklikleri kucaklayarak, geliştiricileri daha da güçlendirecek ve tüm ekosistemin ilerlemesini teşvik edecek; ayrıca çoklu sensör füzyonu, cep telefonu ve IoT kombinasyonu, akıllı ses asistanı Daha fazla bulut + terminal uygulaması olacak.
S: Yapay zeka ve 5G arasında herhangi bir yakınlaşma var mı? 5G'nin cep telefonu endüstrisi üzerinde nasıl bir etkisi olacak?
C: 5G, buluttaki bilgi işlem gücünden tam olarak yararlanabilir. Daha az gecikme ve daha fazla bant genişliği vardır. Şu anda cep telefonlarındaki AI işlevlerinin daha fazla görüntü işlediğini görüyoruz. 5G'den sonra, daha fazla video işleme ve 3B veri işleme olacak.
S: Yakın zamanda iResearch ve SenseTime "2018 Çin Yapay Zeka Cep Telefonu Sektörü Araştırma Raporu" nu birlikte yayınladı. Yapılan araştırmalar sonucunda, iResearch Çinli cep telefonu kullanıcılarının% 95,9'unun telefonlarını bir dahaki sefere değiştirdiklerinde AI telefonlarını seçmeye daha istekli olduklarını buldu. Yapay zeka cep telefonlarının tüketiciler için neden bu kadar çekici olduğunu düşünüyorsunuz?
Y: Tüketicilerin yapay zekanın değerini anladığını görmekten çok memnunum.Bu, cep telefonu üreticilerinin, donanım üreticilerinin ve yapay zeka teknolojisi sağlayıcılarının ortak çabalarının bir sonucudur. AI cep telefonları kullanıcılara daha iyi bir deneyim ve süper çözünürlük, yüz kilidi açma ve 3D uygulamalar gibi birçok yeni uygulama getirdi.Bu AI yazılım yenilikleri insanlara birçok sürpriz getirdi. İkinci olarak, AI teknoloji sağlayıcıları ile cep telefonu üreticileri arasındaki işbirliği giderek derinleşiyor, böylece AI, cep telefonu müşterilerine daha iyi hizmet verebilir ve tüm kullanıcı deneyimini iyileştirebilir. Bu en temel olanıdır. Diğeri inovasyon hızı, AI cep telefonu yinelemesi çok hızlı.
Kullanıcılar için değer yaratmak ve geliştiricileri güçlendirmek için yapay zekayı kullanmak SenseTime'ın misyonudur.Müşterilerimizin ve ortaklarımızın ortak çabaları ile 2019'da yapay zeka cep telefonlarının daha renkli bir deneyime sahip olacağına inanıyorum.
