Gerçek zamanlı ışın izlemeye ek olarak, NVIDIA Turing mimarisi bu AI görüntü işleme özelliklerine de sahiptir.
Birkaç gün önce, Nvidia, Huang Renxun tarafından on iki yılda Nvidia GPU'nun en büyük sıçraması olarak kabul edilen ve şüphesiz bilgisayar grafikleri alanında oyun değiştiren yeni bir GPU mimarisi-Turing'i (Turing) piyasaya sürdü.
Turing mimarisinin en önemli özelliği, ışık yansımasını, kırılmayı, saçılmayı ve gerçekçi resimler oluşturmak için diğer yolları hesaplayabilen ve oyun geliştiricilerine film kalitesinde gerçek zamanlı işleme sağlayabilen Gerçek Zamanlı Işın İzleme'dir. Oyunun daha çok bir film gibi görünmesini sağlayın. Bu yeni GPU'ların yüksek çözünürlüklü grafikleri hızlı bir şekilde işlemek için kendilerinin özel bir parçasına güvendikleri, görüntünün görüntüleme çalışmalarının çoğunu tamamladıktan sonra, bitmemiş pikselleri tahmin etmek için yapay zeka teknolojisini kullandıkları bildirildi.
Leifeng.com, gerçek zamanlı ışın izlemeye ek olarak, Nvidia'nın GPU'sunun açık olarak tanımlanabilecek çeşitli AI görüntü işleme yeteneklerini de desteklediğini öğrendi.
Adobe'de AI görüntü işleme eklentisi
Geçen hafta düzenlenen yıllık bilgisayar grafikleri konferansı SIGGRAPH 2018'de NVIDIA yeni bir Turing mimarisi ve ardından Photoshop ve Premiere için bir dizi eklenti yayınladı. Bu eklentilerin tümü, en yeni Turing GPU mimarisinden ve Quadro RTX serisi grafik kartları tarafından desteklenen makine öğrenme işlevlerinden yararlanır; bu, Photoshop ve Premiere'deki bazı ortak işlevlerin daha sorunsuz çalışmasını ve daha az manuel ayar yapılmasını sağlayabilir.
2017'nin başlarında, Adobe'nin yapay zeka görüntü işlemede birçok durumu vardı. Bilgisayarların, makine öğrenimi teknolojisi aracılığıyla verileri tanıması ve işlemesi için eğitilmesi, görüntü işleme araçlarının görüntü içeriğini daha doğru bir şekilde anlamasını ve tahmin etmesini ve birçok P grafiği ustasının gerçekleştirmesi zor olan etkileri elde etmesini sağlayabilir.
Leifeng.com, Mart 2018'de Adobe Summit 2018'de Adobe ve Nvidia'nın Adobe Sensei yapay zeka sistemini ve Nvidia GPU'ya dayalı makine öğrenimi çerçevesini optimize edeceklerini duyurduklarını bildirdi. Basitçe söylemek gerekirse, Adobe Sensei'yi Nvidia GPU'nun donanım temeli üzerine kurmaktır.
Aslında, iki taraf arasındaki işbirliği on yıldan fazla sürmüştür.Ancak, önceki işbirliği yaratıcılık ve dijital deneyim açısından olmuştur.Adobe'nin resimleri ve videoları, grafiklerle ilgili uygulamaları çalıştırmak için GPU'ya güveniyor; ancak, bu işbirliğinin özü Adobe'nin Sensei yapay zeka sistemi Eylül 2016'da piyasaya sürüldü.
İşbirliğinin kurulmasından yarım yıl sonra, NVIDIA yeni Turing mimarisini piyasaya sürdüğünde, iki taraf arasındaki işbirliğinin sonuçlarını da gösterdi.
Lei Feng.com'un editörü ayrıca SIGGRAPH konferansında NVIDIA'nın standında bu eklentilerin bir tanıtımını gördü.
İlk eklenti Super Rez'dir.
Super Rez'in temel işlevi, görüntüye daha gerçekçi ayrıntılar eklemektir. Resimde görüldüğü gibi kurt sürüsü dağın yamacında duruyor.Kürk detayları canlı, yaprak dokusu net ve yakınlaştırıldıktan sonra da çok net. Çözünürlük 4K'dan 8K'ya kadar çıkabiliyor. Bu işlev, geniş formatlı posterler gibi büyük yüksek çözünürlüklü görüntüler için çok uygundur. Canlı gösteriden bu özellik yaklaşık 10 dakika sürer.
İkinci eklenti Inpaint'tir.
Bu eklenti, Photoshop'un içeriğe duyarlı dolgusunu geliştirmek için AI kullanır. Nvidia'nın gösterdiği vaka, dik bir uçurumun üzerine penguen sürüleri çekiyor. Penguenin eteğindeki kaya, gerçek bir kaya kadar sert görünüyor ve yakındaki bir bölgeden geleneksel bir fırça ile kopyalanmış gibi görünmüyor.
Leifeng.com'a göre, Inpaint teknolojisi, Nvidia Guilin Liu liderliğindeki bir ekip tarafından geliştirildi.Hasar görmüş görüntüleri düzenlemek ve yeniden yapılandırmak için en gelişmiş derin öğrenme yöntemlerini kullanıyor ve aynı zamanda görüntünün bir bölümünü kaldırıp yeniden doldurarak görüntüleri düzenlemek için kullanıyor.
"Modelimiz herhangi bir şekil, boyut ve konum mesafesindeki görüntü deliklerini sağlam bir şekilde işleyebilir. Önceki derin öğrenme yöntemleri esas olarak görüntünün merkezi etrafındaki dikdörtgen alana odaklandı ve genellikle pahalı son işlemeye dayanıyordu."
(Fazla ağacı kaldırmak için Inpaint'i kullanın)
Sinir ağını eğitime hazırlamak için ekip ilk olarak eğitim için 55.116 rastgele şerit ve rastgele şekil ve boyutta görüntü delikleri oluşturdu. Ekip, NVIDIA Tesla V100 GPU ve cuDNN tarafından hızlandırılan PyTorch derin öğrenme çerçevesini kullandı.Ekip, oluşturulan görüntü deliklerinin maskelerini ImageNet, Places2 ve CelebA-HQ veri kümelerindeki görüntülere uygulayarak sinir ağlarını eğitti. Eğitim aşamasında, yukarıda bahsedilen veri setinin tüm eğitim görüntüsüne delikler veya eksik parçalar eklenir, böylece ağ, eksik pikselleri yeniden oluşturmayı öğrenebilir.
Şu anda, Nvidia'nın Inpaint gösterimi 6,300 $ Quadro RTX 6000 grafik kartında çalışıyor, ancak etkiyi elde etmek için gereken süre hala kısa değil. Belki de bundan dolayı Nvidia, bu eklentileri yayınlama planlarının olmadığını, sadece yeni grafik kartlarının ve Nvidia'nın NGX SDK'sının olasılığını gösterdiğini söyledi.
Pahalı Quadro serisiyle karşılaştırıldığında, NVIDIA'nın 21 Ağustos'ta oyuncular için piyasaya sürdüğü birkaç Geforce RTX grafik kartının fiyatları insanlara çok daha yakın.
Sketch video gerçek video oluşturur
NVIDIA'nın Adobe ile birlikte çalıştığı bu eklentiler çok günlük gibi görünürken, NVIDIA'nın MIT ile işbirliği yaptığı bir video oluşturma teknolojisi özellikle harika görünüyor.
Kore dizisi "W Two Worlds "'ü izleyen var mı bilmiyorum. Bu sıcak romantik Kore dramasında, erkek kahraman bir çizgi romandan çıkıyor ve kadın kahraman, iki boyutlu ve üç boyutlu arasında serbestçe gidip gelebilir.
Nvidianın yeni teknolojisi bize "beyni açık" Kore dizilerinin de mümkün olduğunu gösteriyor. Çizgilerle yakışıklı bir adam çizin ve ardından tek düğmeyle geçiş yapın, gerçek kaşları çıkacak. Çok büyülü.
Etki şu şekildedir: Basit çizgilerden oluşan bir taslak verildiğinde ayrıntılı bir yüz oluşturulabilir.Yüzün, burnun, gözlerin ve ağzın yüz özellikleri, yüz özellikleri, saç stili vb. Eskizin ana hatlarıyla tutarlıdır. En güçlü şey, oluşturulan karakterlerin pürüzsüz olmasıdır. Hareket.
Şu anda görebildiğimiz görüntü işleme teknolojisi, saç stilini, saç rengini ve yüz özelliklerini ayarlamak için kullanılan temel olarak arka plan bölümlendirme ve yüz bölgesi bölümlemesidir. Doğrudan böyle bir eskizden yepyeni bir yüz oluşturmak şaşırtıcı.
Karakterlere ek olarak, Nvidia ve MIT'in bu teknolojisi gerçek sahnelerde de kullanılabilir. 2K çözünürlüklü sokak görünümü videosunu 30 saniyeye kadar sentezleyebilir.
Sağda dinamik bir semantik harita ve solda gerçek dünya ile aynı video var. Gördüğünüz gibi, her iki taraftaki sahnelerin düzeni tamamen aynı, yani bu benzer bir video değil, kabak çizimine dayanan yeni bir nesil.
Bilgisayar tarafından oluşturulduğu için videodaki öğeleri değiştirebilir, örneğin yolun her tarafını ağaçlara veya tümünü binalara dönüştürebilirsiniz.
Leifeng.com'a göre, bu proje Nvidia ve MIT'den oluşan bir ekip tarafından geliştirildi, bunlara Nvidia'nın Ting-Chun Wang, Ming-Yu Liu ve MIT'den Zhu Junyan (Jun-Yan Zhu) dahil.
Yukarıdaki birkaç araştırmacı, "Videodan Videoya Sentez" adlı bir makalenin ortak yazarıdır. Makalenin özeti gerçekçidir. Makale, videodan videoya sentez problemini inceler. Amaç, giriş kaynağı videosundan (örneğin, bir dizi anlambilim) Segmentasyon maskesinin) çıktı fotoğraf düzeyindeki videoyla eşleştirilmesi aşinadır ve çıktı videosu orijinal video içeriğini doğru bir şekilde tasvir edebilir. Makale, üretken yüzleşme ağı çerçevesinde yeni bir videodan videoya sentez yöntemi önermektedir. Jeneratör ve ayırıcı mimarisini dikkatlice tasarlayarak ve uzay-zamanı amaç işleviyle birleştirerek, bölümleme maskeleri ve eskizler dahil olmak üzere çeşitli giriş video formatlarında yüksek çözünürlüklü, zaman uyumlu fotoğraf düzeyinde bir video oluşturulur. Ve duruş diyagramı.
Video sentezi demosu çok güzel.Gelecekte film ve televizyon prodüksiyonunun bazı kısımlarının tamamen gerçek sahneler olmadan çekilebileceği, sadece basit bir vuruş çizip gerçek videoyu sentezleyebileceği düşünülebilir. Ancak, bu videodan videoya sentezleme teknolojisinin uygulanmasının Adobe'de kullanılan AI görüntü işleme teknolojisinden daha zor olduğu ve hala laboratuvar aşamasında olduğu açıktır.
GPU ve AI görüntü işleme
Turing mimarisinin gerçek zamanlı ışın izleme şüphesiz en şaşırtıcı olanıdır.Işık yansımasını, kırılmayı ve saçılmayı hesaplayabilir ve oyunların ve filmlerin resim efektlerini büyük ölçüde iyileştirecek gerçekçi resimler oluşturabilir.
Ek olarak, Turing mimarisinin daha fazla özelliği vardır:
-
Tensor Core, derin sinir ağı eğitimini ve çıkarımını hızlandırabilir;
-
Turing Streaming Çok İşlemcili mimarisi, 16 teraflop'a kadar bilgi işlem performansı sağlayabilen 4608 CUDA çekirdeğine ve gerçek dünyanın fiziksel simülasyonunu hızlandırmak için saniyede 16 trilyon tamsayıya paralel hesaplama işlemine sahiptir;
-
Gelişmiş programlanabilir renklendirme teknolojisi, karmaşık görsel efektleri ve grafik ağırlıklı iş deneyimini iyileştirebilir;
-
İlk kez, ultra hızlı Samsung 16 Gb GDDR6 bellek, daha karmaşık tasarımları, devasa mimari veri kümelerini, 8K film içeriğini vb. Desteklemek için kullanılıyor;
-
NVIDIA NVLink, iki GPU'yu yüksek hızlı bir bağlantı üzerinden bağlayabilir, bellek kapasitesini 96 GB'a çıkarabilir ve 100 GB / sn'ye kadar veri aktarımı yoluyla daha yüksek performans sağlayabilir;
-
Gelişmiş teknolojiler, Değişken Hızlı Gölgelendirme, Çoklu Görüntü Oluşturma ve VRWorks Audio gibi VR uygulamalarının performansını artırabilir.
Bilgisayar grafikleri alanı, daha net görüntü görüntüleme, daha gerçekçi oluşturma ve daha hızlı işlem hızı peşinde koşmaktadır.GPU'nun performans iyileştirmesi bu hedeflere sürekli olarak ulaşmaktadır. Günümüzde, yapay zeka ve görüntü işlemenin birleşimi bize daha fazla olasılık getiriyor, bu aynı zamanda birçok şirketin belirlediği yön.
Bu yılki WWDC'de Apple, iki ana teknolojisi olan Metal ve ML'ye odaklandı. 2014 yılında Apple, daha yüksek grafik hesaplama gücü elde etmek için GPU kullanabilen ve iPhone'da "Fortress Night" gibi bazı işletim oyunlarını çalıştıran Metal'i piyasaya sürdü. Metal, eGPU desteği sayesinde Apple cihazlarının daha gerçekçi 3B oluşturma efektleri elde etmesini sağlar ve ayrıca Unity'nin gerçek zamanlı ışık oluşturma efektleri elde etmesine yardımcı olur.
Ek olarak, Metal'in bir diğer önemli özelliği, makine öğrenimini destekleyebilmesi ve sinir ağlarını eğitmek gibi hesaplama açısından yoğun görevleri hızlandırabilmesidir. Bu nedenle, Metal'e dayalı olarak geliştirilen makine öğrenme aracı Core ML, verimliliği büyük ölçüde artıran GPU'yu da kullanabilir.
GPU ve AI teknolojisinin iyileştirilmesi şüphesiz VR'nin gelişimini destekleyecektir Lei Feng.com'un editörü, daha havalı AI görüntü işleme teknolojilerinin doğuşunu dört gözle bekliyor.
