Cep telefonu video çekiyor ve arka planı gerçek zamanlı değiştiriyor.Fotoğrafları oynayan macaronların ardından Versa'nın daha güçlü bir uygulaması var.
İçbükey tapınaktan Guo Yipu
Qubit Raporu | Genel Hesap QbitAI
Honor 9X'in son lansmanında, Yeşil Ekran Uygulama piyasaya çıktı.
Canlı ekranda, bu Uygulama, cep telefonu tarafından çekilen videonun filmin yeşil ekran benzeri bir efekt oluşturmasını sağlayabilir, videodan arka planı gerçek zamanlı olarak kaldırabilir, yalnızca kahramanı tutabilir ve arka planı kullanıcı tarafından ayarlanan özel efektlerle değiştirebilir.
Videoyu gerçek zamanlı olarak işlemek ama aynı zamanda ince bir "kesme" efekti elde etmek istiyorsanız, bu hem algoritmalar hem de hesaplama gücü için kolay bir iş değildir.
Green Screen'in arkasındaki şirket, daha önce popüler olan mobil P-resim uygulaması Macaron Play Picture'a ait olan AI şirketidir. Versa .
Anlamsal bölümleme çerçevesi kare
Versa CTO'su Zhao Weijie, Green Screen'in arkasında kullanılan video sahne ayırma teknolojisinin, her karenin anlamsal bölümlemesini elde etmek için videoyu tek bir kareye bölmeye eşdeğer olduğunu söyledi.
Anlamsal bölümleme zor değildir, zorluk her çerçeveye sürekli olarak uygulanmasında yatmaktadır.
Her şeyden önce, her kare için anlamsal bölümleme işlem süresinin 30 milisaniyeden az olmasını sağlamak gerekir.Zaman dolduktan sonra, sonraki kare işlenmelidir, aksi takdirde video sıkışır;
İkincisi, videoya anlamsal bölümleme uygulandığı için bölümlemenin doğruluğunun sağlanması gerekmektedir.Bir yandan kenarlar çok kaba işlenememekte, diğer yandan her karenin içeriğinin sürekliliği sağlanmalı ve önceki kare karakterler tarafından kullanılamamaktadır. Ayrıca bir torba vardır, bir sonraki çerçevedeki torba kesilerek "Schrödinger'in çantası" durumu yaratılır;
Son olarak, modelin telefonda yerel olarak çalıştırılması gerekir, bu nedenle çok büyük olamaz ve yalnızca 1 ~ 2M alana sahip olabilir.
Kendi geliştirdiği "kavramsal ağın" optimizasyonu sayesinde, mevcut çerçevenin segmentasyon doğruluğu iyileştirilir ve zaman ve uzay bilgileri daha kompakt bir boyuta gömülür, bu da omurganın karmaşıklığını azaltır. Zhao Weijie ve diğerleri Yeşil Ekran algoritmasını yarım yıldan fazla bir süredir tamamladılar. Araştırmada, her karenin işlem süresi 30 milisaniyenin altına düşürüldü ve model de yaklaşık 1 milyona sıkıştırıldı.
Bir adaptör çipi bulun
Ancak model hazır olmasına rağmen yeni sorunlar ortaya çıktı.
Versa teknik ekibi, bu modeli çalıştırmak için birçok yaygın cep telefonu çipi buldu ve bu çiplerin yeterince iyi çalışmadığını gördü. Ya hesaplama gücü yeterli değil, bu bir donma ile sonuçlanıyor ve modelin çalışması için sıkıştırılması gerekiyor, ancak etki daha kötü olacak; ya da güç tüketimi çok yüksek, ısı çok ciddi ve telefon bir süre sonra takılı kalıyor.
Modeli Honor 9X SoC Kirin 810'da çalıştırmayı deneyene kadar, sadece bilgi işlem gücü ve güç tüketiminin gereksinimleri karşıladığını değil, aynı zamanda başka bir avantajı da buldular: I / O tasarımı daha iyiydi ve veri hareketi verimliliği yüksekti.
Zhao Weijie kübitlere "Aslında, küçük cep telefonu modelinin çalışması için harcanan zamanın çoğu hesaplamalarda değil, veri işlemede harcanıyor."
Cep telefonunun küçük modelini Kirin 810'da test ettiklerinde, 1080P yüksek çözünürlüklü bir videoya girdiler ve sonuçları çalıştırdıktan sonra bulduklarında şaşırdılar:
Kirin 810 ve GTX1070'in çalışma sonuçları büyüklük sırasına göre: Cep telefonunda 60ms çalışan bir model, PC'de yaklaşık 20ms'dir (artı G / Ç).
Bir cep telefonu çipi neden GTX1070 gibi bir bilgisayar GPU'sunun sonuçlarıyla aynı seviyede çalışabilir?
Zhao Weijienin açıklaması, küçük video modeli için, masaüstü GPUnun güçlü bilgi işlem gücüne sahip olmasına rağmen, küçük modelin bu kadar büyük bir bilgi işlem gücü kullanmamasıdır. Bunun yerine, video veri depolama ve hareketinin G / Ç'si darboğazdır ve veri işlemeye zaman harcanır. Üstünde. Kirin 810'un I / O tasarımı mükemmeldir ve çok zaman kazandırır. Ek olarak, masaüstü GPU 32bit kayan nokta ve 81016bit kayan noktadır. GPU genel amaçlı bir çiptir ve NPU özellikle sinir ağı hesaplaması için kullanılır ve operatör özel olarak optimize edilebilir. Nihai toplam süre cep telefonlarıyla karşılaştırılabilir.
Bu nedenle Versa, bu yeni Uygulamanın Honor 9X cep telefonlarında piyasaya sürülmesine ve ay sonunda App Store'da piyasaya sürülmesine karar verdi.
İşlem gücü Algoritmalı oyun
Bu noktada bir sorun görebilirsiniz:
AI modellerinin yeterince yeni ve güçlü çiplerle çalışması gerekiyorsa, peki ya ucuz telefonlar?
Düşünmenin bir yolu model sıkıştırmadır. Ancak Zhao Weijie, modelin yavaş yavaş büyük bir modelden küçük bir modele sıkıştırılması yerine, tasarımın başından itibaren küçük bir şey olması gerektiğini düşünüyor Sonuçta, model sadece en iyi donanım değil, her zaman kullanılır.
"Yapay zeka şirketleri ve donanım şirketleri bir orta yol arıyor. Yapay zeka şirketleri mevcut donanım üzerinde daha iyi algoritmalar çalıştırmayı umuyor. Donanım şirketleri giderek daha güçlü donanım platformları arıyor. Küçük mobil donanım üzerinde çalışabilir. "Dedi Zhao Weijie.
Versa, farklı platformlar için farklı algoritmalar da sağlar. Örneğin, resimleri oynatmak için önceki ürün olan Macaron, Zhao Weijie, en iyi donanım üzerinde en iyi etkiyi çalıştırmanın, sıradan donanım satıcılarında en geniş kapsama alanını yapmanın ve en düşük uç cep telefonunun bulut üzerinde çalışabileceğinden bahsetmişti. Farklılaştırılmış algoritmalar, herhangi bir AI şirketinin arayışının özüdür. "
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
