Google, Pixel 3-Super Res Zoom'da kamera siyahı teknolojisinin ayrıntılı bir açıklamasını yayınladı
Lei Feng net basın: Birkaç gün önce Google, yeni bir Pixel 3 / Pixel 3XL cep telefonu çıkardı, en son AI kamera işlevi harika. Gece Görüşü gece fotoğrafı efekti iPhone XS'de takılıyor; En İyi Çekim işlevi sürekli olarak birden fazla HDR + fotoğraf çekebilir, titrek ve yanıp sönen notları otomatik olarak kaldırır ve en iyisini önerir; Photo Booth modu bir gülümsemeyi veya yüzü algılayabilir Değerli bir anı kurtarmanıza yardımcı olmak için komik ifadeleriniz olduğunda otomatik olarak fotoğraf çekin; Super Res Zoom, kameranın yakınlaştırma işlevi aracılığıyla yüksek çözünürlüklü fotoğraflar çeker.
Leifeng.com'a göre, Süper Res Zoom'un bu sefer birkaç yeni AI kamera işlevi arasında anlaşılması en zor olduğu söylenebilir ve aynı zamanda sektördeki birçok insanı meraklandırdı. Neyse ki, Google'ın hesaplamalı görüntüleme alanının baş bilim adamı Peyman Milanfar ve bir yazılım mühendisi olan Bartlomiej Wronski, Süper Res Zoom teknolojisinin uygulanmasının tüm sürecini açıklayan Google Blog'da özel olarak bir blog yazısı yayınladı. Leifeng.com orijinal metni orijinal amacını değiştirmeden tercüme etti ve düzenledi.
Uzun bir süredir, dijital yakınlaştırma için algoritmalar (lensler yerine) kullanan mobil cihaz kameraları "çirkin ördek yavrusu" gibi. Dijital zoomun görüntü kalitesini dijital SLR fotoğraf makinelerinin optik zoomu ile karşılaştırmak zordur, bu nedenle geleneksel görüş şudur: Büyük kameraların karmaşık optik mekanizmaları, daha kompakt mobil cihaz kameraları ve akıllı algoritmalarla değiştirilemez.
Pixel 3'teki yeni Süper Res Zoom özelliği ile bu konsepte meydan okuyoruz.
Daha önce, dijital yakınlaştırma teknolojisi esas olarak tek bir görüntüdeki pikselleri yükseltmek için kullanılırken, Pixel 3'teki Süper Çözünürlük Yakınlaştırma teknolojisi değildi. Super Res Zoom yöntemi, daha yüksek çözünürlüklü bir görüntü oluşturmak için birçok çerçevenin görüntüsünü doğrudan birleştirmektir.Bu yöntem, diğer birçok akıllı telefondaki 2x optik yakınlaştırma merceğine kabaca eşdeğer olan resmin ayrıntılarını büyük ölçüde iyileştirebilir.
2x yakınlaştırma: Pixel 2 vs. Süper Res Zoom Piksel 3
Dijital yakınlaştırmanın zorluğu
Dijital yakınlaştırma zordur. İyi bir algoritma, düşük çözünürlüklü bir görüntü ile başlamayı ve eksik ayrıntıları güvenilir bir şekilde "yeniden yapılandırmayı" beklediği için - tipik bir dijital yakınlaştırmada, tek bir görüntünün küçük bir kısmı çok daha büyük bir görüntü oluşturmak için büyütülür. Geleneksel olarak, bu doğrusal enterpolasyon yoluyla elde edilir Bu yöntem, orijinal görüntüde kaybolan bilgileri yeniden oluşturmaya çalışır, ancak görüntüyü bulanıklaştıracak ve doku ve ayrıntıdan yoksun olacaktır. Tek bir görüntüye dayalı olarak görüntü kalitesini iyileştirmek için genellikle makine öğrenimi yöntemlerini kullanır (kendi erken çalışmamız RAISR dahil). Bu görüntüler, düz kenarlar gibi bazı belirli görüntü özelliklerini büyütür ve hatta belirli dokuları sentezleyebilir, ancak doğal yüksek çözünürlüklü ayrıntıları geri yükleyemez. Görüntülerin görsel kalitesini iyileştirmek için hala RAISR kullanmamıza rağmen, Super Res Zoom yenilikçi bir şekilde çok çerçeveli bir görüntü yöntemi kullanır.
Renk filtresi dizisi ve kalıptan çıkarma
Ayrıntıları yeniden yapılandırmak özellikle zordur çünkü dijital fotoğraflar artık tam değildir. Denen bir şey aracılığıyla Demosaicing Bu süreçte, eksik bilgileri renk bilgilerinin bir kısmından yeniden yapılandırabiliriz. Tipik bir tüketici kamerasında, kamera sensör öğesi, ışığın rengini doğrudan ölçmek yerine yalnızca ışığın yoğunluğunu ölçmek için kullanılır. Sahnede sunulan gerçek renkleri yakalamak için kamera, sensörün önüne yerleştirilmiş bir dizi renk filtresi kullanır, böylece her piksel yalnızca bir rengi (kırmızı, yeşil veya mavi) ölçer. Aşağıdaki şekilde gösterildiği gibi, Bayer düzeninde düzenlenmiştir.
Bayer mozaik renk filtresi: her 2x2 piksel grubu, belirli bir renkle filtrelenen ışığı yakalar - iki yeşil piksel (çünkü gözlerimiz yeşile daha duyarlıdır), biri kırmızı ve bir mavi. Bu model görüntü boyunca tekrarlanır.
Daha sonra, kısmi bilgiler verildiğinde, kamera işleme hattının gerçek renkleri ve tüm piksellerin tüm ayrıntılarını yeniden yapılandırması gerekir. Renk ayırma işleminin ilk adımı, eksik renk bilgisini tahmin etmektir.Genellikle, enterpolasyon için yakındaki piksellerin renkleri seçilir, bu da RGB dijital görüntünün üçte ikisinin gerçekten yeniden yapılandırıldığı anlamına gelir!
Kalıptan çıkarma, eksik renk bilgilerini yeniden yapılandırmak için bitişik pikselleri kullanır
En basit şekliyle, bu, bitişik değerlerin ortalaması alınarak elde edilebilir. Gerçek bulmaca çözme algoritmalarının çoğu bundan daha karmaşıktır, ancak yalnızca kısmi bilgi elde edilebildiği için, parçalama etkisi hala kusurludur ve ağır yapay izler vardır. Büyük boyutlu SLR kameralarda durum böyle olsa da, daha büyük sensörleri ve daha büyük lensleri, sıradan mobil kameralara göre daha fazla ayrıntı yakalayabilir.
Bir mobil cihazda yakınlaştırır ve uzaklaştırırsanız, durum daha da kötüleşir; daha sonra algoritma, daha fazla bilgiyi telafi etmek için yakındaki pikselleri enterpolasyona tabi tutmaya zorlanır. Ancak, bu gereksiz değildir, çünkü mobil cihazların optik sınırlamalarına tabi olsa bile, Yüksek hızlı sürekli çekim ( Seri Çekim Fotoğrafçılığı) Ve süper çözünürlük elde etmek için birden fazla görüntünün füzyonu kullanılabilir.
Yüksek hızlı sürekli çekimden (Seri Çekim) çok kareli süper çözünürlüğe
Tek bir kare eksik renkleri doldurmak için yeterli bilgi sağlayamasa da, sürekli olarak yüksek hızda çekilen birden fazla görüntüden bazı eksik bilgiler elde edebiliriz. Google'ın HDR + algoritması, Nexus telefonlara ve Pixel telefonlara başarıyla uygulandı. Telefon fotoğraflarının daha büyük sensörlerin beklediği kalite düzeyine ulaşmasını sağlamak için çok çerçeveli bilgileri kullandı. Görüntü çözünürlüğünü iyileştirmek için benzer yöntemler kullanılabilir mi?
Çok çerçeveli süper çözünürlük kavramı on yıldan fazladır (astrofotografide benzer bir kavram "çiseleme" olarak adlandırılır). Birden fazla fotoğrafı çekip ince konumsal farklılıklarla birleştirerek, optik yakınlaştırmanın eşdeğerini üretebilir Etki, en az 2-3x düşük büyütmeli zoom ve iyi aydınlatma koşullarıdır. Bu süreçte genel fikir, düşük çözünürlüklü görüntü parçalarını ideal (daha yüksek) çözünürlüklü bir ızgarada doğrudan hizalamak ve birleştirmektir. İdealleştirilmiş çok çerçeveli süper çözünürlük algoritmasının nasıl çalıştığına dair bir örnek:
(Enterpolasyon gerektiren üst kısımdaki sökme işlemi ile karşılaştırıldığında, birden çok görüntü ile doldurmak daha idealdir ve her görüntü yatay veya dikey olarak bir piksel hareket eder)
Yukarıdaki örnekte, 3 kare tam olarak bir piksel hareket eden 4 kare yakaladık: yatay yönden, dikey yönden ve hem yatay hem de dikey yönlerden. Tüm delikler doldurulacaktır ve hiçbir şekilde kalıptan çıkarma gerekmez. Bazı SLR kameralar bu işlemi destekler, ancak yalnızca kamera bir tripod üzerindeyken sensör / lens hareket ettirilebilir. Bu bazen "mikro adım" olarak adlandırılır.
Uzun yıllar boyunca, bu "süper çözünürlüklü" yüksek çözünürlüklü görüntüleme yönteminin uygulanması hala esas olarak laboratuvarlarla veya başka yollarla kontrol edilen ayarlarla sınırlıdır. Bu ayarlarda, sensör ve ana gövde hizalanır ve aralarındaki hareket kasıtlı olarak kontrol edilir veya kesinlikle kısıtlanır. Örneğin, astronomik görüntülemede, yıldızlı gökyüzünün hareketini fotoğraflamak için sabit bir teleskop kullanılır. Ancak günümüzün yaygın olarak kullanılan görüntüleme cihazlarında ve akıllı telefonlar gibi uygulamalarda, süper çözünürlüğün gerçek uygulaması hala zordur.
Çok çerçeveli süper çözünürlük İşlevin bazı koşulları karşılaması gerekir. Birincisi ve en önemlisi, lensin ayrıntıları kullanılan sensörden daha iyi ele alması gerekir (tam tersine, lensin kötü tasarlandığı ve daha iyi bir sensör eklemenin hiçbir yararı olmadığı bir durum hayal edebilirsiniz). Dijital kameraların yaygın ve istenmeyen bir etkisine örtüşme adı verilir.
Görüntü takma
Kamera sensörü sahnedeki tüm desenleri ve ayrıntıları tam olarak temsil edemediğinde, örtüşme meydana gelir. Örtüşmenin iyi bir örneği, iki özdeş desen belirli bir açıda üst üste geldiğinde ortaya çıkan bir fenomen olan Moiré desenleridir.
Hareli saçaklar iki set paralel hattan oluşur, bir set dikey ve diğer set 5 ° eğimlidir.
Ayrıca nesneler sahnede hareket ettiğinde, fiziksel özellikler (yüzey kenarları gibi) üzerindeki örtüşme etkisi de değişecektir. Bunu, kameranın hafif hareketinin zamanla değişen bir örtüşme efekti oluşturacağı aşağıdaki sürekli çekim dizisinde gözlemleyebilirsiniz:
Sol: yüksek çözünürlükte masanın kenarının tek bir görüntüsü, sağ: sürekli çekim ile üretilen farklı görüntü çerçeveleri. Örtüşme ve hareli efektler farklı çerçeveler arasında görülebilir - pikseller etrafta sıçrayarak farklı renkli desenler üretir
Bununla birlikte, kılık değiştirmiş bir lütuf da olabiliriz. Örtüşme efektinin ürettiği deseni analiz edersek, süper çözünürlük elde etmek için renk ve parlaklık değerlerinin çeşitliliğini elde ederiz. Bununla birlikte, el tipi mobil cihazlarda ve herhangi bir sürekli çekim sekansında yüksek çözünürlüğe ulaşmak için hala birçok zorluk vardır.
Süper çözünürlük için el hareketi
Daha önce de belirtildiği gibi, bazı SLR kameralar, şu anda tarif ettiğimiz şekle benzer şekilde özel bir tripod süper çözünürlük modu sağlar. Bu yöntemler, kamera içindeki sensörlerin ve optiklerin fiziksel hareketine dayanır ancak kameranın tamamen sabit olmasını gerektirir. Bununla birlikte, mobil cihazlarda neredeyse her zaman elde tutuldukları için bu pratik değildir.
Ancak el hareketi programı yardımıyla bu en büyük zorluğu avantajımıza çevirdik. El kamerası veya cep telefonu ile bir grup fotoğraf çektiğimizde, görüntüler arasında her zaman biraz hareket olacaktır. Optik görüntü sabitleme (OIS) sistemleri, büyük kamera hareketlerini - genellikle 1/30 saniye aralıklarla 5-20 piksel hareketini - telafi edebilir, ancak daha hızlı, daha düşük genlik ve doğal el titremelerini tamamen ortadan kaldıramaz. Fotoğraf çekmek için yüksek çözünürlüklü sensörlü bir cep telefonu kullanırken, bu el titremesinin büyüklüğü yalnızca birkaç pikseldir.
İşlemeden sonra, sürekli çekimde avuç içi titremesinin sonucu
El titremesinden yararlanmak için öncelikle yüksek hızlı sürekli çekim fotoğraflarını bir arada düzenlememiz gerekiyor.Yüksek hızlı sürekli çekim görüntüsünde tek bir görüntüyü "taban" veya referans çerçeve olarak seçip diğer tüm kareleri hizalıyoruz. Hizalamadan sonra bu görüntüler kabaca birleştirilir. Elbette, el hareketinin görüntüyü tek bir piksel kadar doğru bir şekilde hareket ettirmesi olası değildir, bu nedenle yeni yakalanan her kareye bitişik pikseller eklememiz ve ardından rengi temel çerçevenin piksel ızgarasına enjekte etmemiz gerekir.
Cihaz tamamen sabit olduğu için (örneğin, bir tripoda yerleştirildiği için) el hareketi olmadığında, OIS modülünü çekimler arasında hafifçe hareket etmeye zorlayarak kamerayı kasıtlı olarak "sallayarak" doğal el hareketini simüle edebiliriz. mobil. Bu hareket çok küçüktür ve seçildiğinde normal fotoğraflara müdahale etmeyecektir - ancak bunu Pixel 3'te kendiniz gözlemleyebilirsiniz ve bir pencereye basmak veya vizörü maksimuma yakınlaştırmak gibi telefonu tamamen sabitleyebilirsiniz. Aşağıdaki şekilde gösterildiği gibi, uzaktaki nesnelerin küçük ama sürekli eliptik hareketini gözlemleyebilirsiniz.
Süper çözünürlük zorluğunun üstesinden gelmek
Yukarıdakiler ideal sürecin tanımımızdır, kulağa basit geliyor, ancak süper çözünürlüğü elde etmek o kadar kolay değil. Cep telefonları gibi tüketici ürünlerinde yaygın olarak kullanılmamasının pek çok nedeni vardır, örneğin çok fazla algoritma yeniliği gerektirir. Zorluklar şunları içerebilir:
İyi aydınlatma koşullarında bile, sürekli olarak çekilen tek bir görüntü gürültülüdür. Pratik bir süper çözünürlüklü algoritmanın bu gürültüden haberdar olması ve doğru çalışması gerekir. Sadece daha yüksek çözünürlüklü gürültülü bir görüntü elde etmek istemiyoruz - amacımız daha az gürültü üretirken çözünürlüğü artırmaktır.
Sol: İyi aydınlatma koşullarında çekilen tek kare bir görüntü, yetersiz pozlama nedeniyle yine de çok fazla parazit içerebilir. Sağ: Sürekli çekimden sonra birden fazla karenin birleştirilmesinin sonucu.
Kesintisiz çekimler arasındaki hareket, kameranın hareketiyle sınırlı değildir. Rüzgar üfleyen yapraklar, su dalgalanmaları, arabalar, insanların yüzlerindeki değişiklikler ve alevlerin titremesi gibi karmaşık sahneler olabilir - hatta bazıları olamaz Sigara içmek gibi bağımsız sporlar olarak kabul edilir. Genel olarak konuşursak, tam güvenilirlik ve yerel hizalama imkansızdır, bu nedenle hareket tahmini mükemmel olmasa bile, iyi bir süper çözünürlük algoritması kullanılmalıdır.
Çoğu hareket rastgele olduğundan, iyi hizalamayla bile, veriler görüntünün bazı alanlarında yoğun ve diğer alanlarda seyrek olabilir. Süper çözünürlüğün anahtarı karmaşık bir enterpolasyon problemidir, bu nedenle verilerin düzensiz yayılması, ızgaranın çeşitli bölümlerinde daha yüksek çözünürlüklü görüntüler oluşturmayı zorlaştırır.
Yukarıdaki zorlukların tümü, süper çözünürlüğü pratikte olanaksız kılıyor gibi görünüyor veya en iyi durumda, bir tripod üzerindeki sabit sahneler ve kameralarla sınırlı olabilir. Pixel 3'te Süper Res Zoom'u kullanarak, doğal el hareketini kullanan ve cep telefonlarına yerleştirilebilecek kadar güçlü olan istikrarlı ve doğru bir sürekli çekim çözünürlüğü geliştirme yöntemi geliştirdik.
İşte yukarıdaki zorlukları nasıl çözdük:
Yüksek hızlı sürekli çekim (Seri Çekim) durumunda kareleri etkili bir şekilde birleştirmek ve gürültüyü azaltmadan her piksel için kırmızı, yeşil ve mavi bir değer oluşturmak için, kareler arasında bilgileri entegre etmek için bir yöntem geliştirdik. Yöntem, görüntünün kenarlarını hesaba katar ve buna göre ayarlar. Spesifik olarak, girdi çerçevelerini analiz ediyor ve bunları nasıl birleştireceğimizi ayarlayarak, eklenen ayrıntıları, çözünürlüğü, gürültüyü bastırmayı ve yumuşatmayı ayarlıyoruz. Bunu, pikselleri kapsamak yerine, belirgin kenarların yönü boyunca birleştirerek yapıyoruz. Bunun etkisi, çoklu çerçeve yöntemimizin gürültü azaltma ve ayrıntı geliştirme arasında en iyi dengeyi sağlamasıdır.
Algoritmanın karmaşık yerel hareket sahnelerini (insanlar, arabalar, su veya hareket eden yapraklar) güvenilir bir şekilde işlemesini sağlamak için, hizalama hatalarını tespit etmek ve azaltmak için sağlam bir model geliştirdik. Bir kareyi "referans görüntü" olarak seçeriz ve yalnızca, karşılık gelen doğru özelliği bulduğumuzdan emin olduğumuzda diğer karelerden alınan bilgileri onunla birleştiririz. Bu şekilde, "gölgelenme" veya hareket bulanıklığı gibi şeylerden kaçınabilir veya görüntünün bazı kısımlarını yanlışlıkla birleştirebiliriz.
Hızlı hareket eden bir otobüsün kesintisiz görüntüsü. Sol: Sağlamlık modeli olmadan birleştirme. Sağ: Sağlam modelle birleştirin
Mobil fotoğrafçılık teknolojisinin gelişimini teşvik edin
Google'ın geçen yıl başlattığı Portre modu ve önceki HDR + ardışık düzeni, mobil fotoğrafçılığın üstünlüğünü gösterdi. Bu yıl yakınlaştırma ile başladık. Super Res Zoom, mobil fotoğrafçılık ile dijital SLR arasındaki kalite farkını daraltarak bilgisayar fotoğrafçılığı teknolojisinin seviyesini artırabilir.
Süper çözünürlük kavramı, akıllı telefonların ortaya çıkışından en az 10 yıl öncesine dayanıyor. Neredeyse aynı süre boyunca, filmler ve televizyon aracılığıyla halkın hayal gücünde de var oldu ve aynı zamanda akademik dergilerde ve akademik konferanslarda binlerce makaleye konu oldu. Şimdi avucunuzun içindeki Pixel 3'te süper çözünürlük gerçekten var.
Süper Res Zoom'dan en iyi şekilde nasıl yararlanılır?
Super Res Zoom'u Pixel 3 telefonlarda nasıl kullanacağınızla ilgili bazı ipuçları:
-
Yakınlaştırma ve yakınlaştırma veya ayrı yakınlaştırma adımlarını artırmak için + düğmesini kullanın.
-
Hızla yakınlaştırmak ve uzaklaştırmak için önizlemeye çift tıklayın.
-
Süper Res Zoom tüm yakınlaştırma faktörlerinde çalışabilir, ancak performans nedeniyle yalnızca 1,2 kattan fazla etkinleştirilir.
-
Pixel'in geniş açılı kamerasının optik çözünürlüğünün temel sınırlamaları vardır. Bu nedenle, yakınlaştırma kullanımını en üst düzeye çıkarmak için yakınlaştırma faktörünü orta düzeyde tutun.
-
Hızlı hareket eden nesnelerden kaçının. Super Res Zoom bunları doğru şekilde yakalayabilir, ancak daha yüksek bir çözünürlük elde edemezsiniz.
Google Blog aracılığıyla
