HDR görüntü ton eşleme-AET için uyarlanabilir renk ayarlama algoritması
0 Önsöz
Yüksek Dinamik Aralık (HDR) görüntüsü, gerçek sahnenin parlaklık aralığında büyük bir değişikliği kaydedebilen bir görüntüdür.Sıradan görüntülerden çok daha yakın olan parlak ve karanlık alanların ayrıntıları başta olmak üzere daha zengin bir parlaklık seviyesine sahiptir. Gerçekçi renk efektleri. Bununla birlikte, HDR görüntüleri sıradan görüntüleme aygıtları tarafından yeniden üretildiğinde dinamik aralık uyuşmazlığı sorunu vardır, bu nedenle dinamik aralık sıkıştırma algoritmaları bir araştırma etkin noktası haline gelmiştir.
Son yıllarda, birçok HDR görüntü ton eşleme algoritması ortaya çıkmıştır.Örneğin, KUANG J ve diğerleri, görüntü renk görünüm modeline dayalı iCAM06 algoritmasını önerdi; REINHARD E ve diğerleri, fotoğrafa dayalı bir dinamik aralık sıkıştırma algoritması önerdi. Bu ton eşleme algoritmaları, gerçek dünya parlaklık aralığını çıktı ortamı parlaklık aralığına eşlemek için gelişmiş yöntemler sağlar, ancak genellikle görüntünün renginin görünümünde değişikliklere neden olurlar. En yaygın ton işlemi, koyu tonların daha parlak olmasına ve kontrast ilişkisini bozmasına neden olan parlaklık sıkıştırmasıdır. Bunun nedeni, ton eşleme algoritmasının orijinal olarak görüntüyü parlaklık alanında sıkıştırmak için kullanılmış olmasıdır, ancak renkli yüksek dinamik aralıklı görüntüleri işlerken, yalnızca parlaklık bileşeni dikkate alınır ve parlaklık sıkıştırılırken görüntünün renk bileşeni de sıkıştırılır. , Renk değişti.
Bu makale, görüntü ton eşleme ile sıkıştırıldıktan sonra, sıkıştırmadan sonra renk solması ve renk atması gibi renk bozulması sorunlarını çözmek için renk gamına bir renk ayarlama algoritmasının eklenmesini ve böylece görüntünün renk performansını iyileştirmeyi önermektedir.
1 Renk ayarlama algoritmasının açıklaması
Tüm algoritma iki bölüme ayrılmıştır: parlaklık gamı işleme ve renk gamı işleme. Parlaklık alanı işleme, elde edilen yüksek dinamik görüntünün dinamik aralığını parlaklık alanında sıkıştırmak ve eşlemek ve kontrastı sınırlandırmak için uyarlamalı histogram eşitlemesini sağlamak ve görüntünün yüksek dinamik aralığını düşük dinamik aralıkla eşleştirmek içindir. Renk gamı işleme iki yönü içerir: Bir yandan renk yenileme işlemidir Aşağıda verilen eğrinin özellikleriyle birleştirildiğinde, renk doygunluğu parametreleri, sıkıştırılmış görüntünün rengini geri yüklemek için görüntü işlemeden önce ve sonra parlaklık oranına göre uyarlamalı olarak ayarlanır; Geri yüklenen görüntü, görüntü çekim işlemi sırasında ortam ışık kaynağının etkisine bağlı olarak sentezlenen görüntünün renk sapması sorununu çözmek için renk geliştirme işlemine tabi tutulur. Görüntünün rengi, renk geliştirme faktörü ile geliştirilir. Algoritma işleme süreci Şekil 1'de gösterilmektedir.
1.1 Parlaklık alanı işleme
HDR görüntüler için, mevcut standart görüntüleme cihazında dinamik aralık uyuşmazlığı sorunu vardır ve görüntü normal olarak görüntülenemez.Parlaklık alanında ton eşlemesi ve sıkıştırması gerekir ve dinamik aralığı görüntünün olabilmesi için 0 ~ 255'e eşlenir Ekranda gösterilir. Bu yazıda, yüksek dinamik görüntü ve logaritmik eğrinin özelliklerini birleştiren HDR görüntünün dinamik aralığı, yüksek parlak alanların kontrastını azaltan ve düşük parlaklıklı alanların ayrıntılarını artıran logaritmik sıkıştırma yöntemi ile haritalanarak sıkıştırılmış görüntü haline getirilir. İnsan gözünün görsel özellikleri ile daha uyumludur. Öncelikle, HDR renkli görüntünün parlaklık verilerini elde etmek için aşağıdaki parlaklık dönüştürme formülünü kullanın:
Formülde, Ir, Ig ve Ib, giriş HDR görüntüsünün R, G ve B kanallarının verileridir ve L, hesaplanan görüntünün parlaklık değeridir. Ardından, dönüştürülen görüntü parlaklık değeri üzerinde logaritmik sıkıştırma gerçekleştirin ve logaritmik sıkıştırmanın genel işlevi:
Formülde Lin ve Lout, giriş görüntüsünün sıkıştırılmasından önceki ve sonraki parlaklık verileridir ve a bir sabittir. Son olarak, görüntü kontrastını geliştirmek için kontrastla sınırlı histogram eşitleme (CLAHE) algoritması kullanılır ve sıkıştırılmış görüntü elde edilir.
1.2 Renk gamı işleme
1.2.1 Renk Kurtarma
RGB renk uzayında, R, G ve B üç temel renktir ve zengin ve geniş bir renk yelpazesi oluşturmak için üç renk karıştırılır ve çeşitli derecelerde üst üste bindirilir. Ton eşleme sürecinde, renk derinliği sıkıştırma nedeniyle önce ve sonra değişir. Sıkıştırılmış görüntü rengi daha açık olduğundan renk bozulmasına neden olur ve derinlikteki değişiklik RGB renk uzayında sezgisel olarak ifade edilemez. Bu nedenle, bu makale tanıtılmaktadır. HSI renk alanı. HSI renk uzayında doygunluk S (Doygunluk) rengin derinliğini temsil eder. Model, insan renk algısının temel özelliklerini yansıtan ve insanın renk algısının sonucuna karşılık gelen Şekil 2'de gösterilen çift konili 3B modeldir. Görüntü sıkıştırıldıktan sonra bu model üzerinde 3 boyutlu çift konturun daralmasıyla yansıyan renk derinliği değişir.Büzülmenin ana nedeni görüntünün renk doygunluğundaki değişimdir. Görüntünün renk doygunluğu, renk doygunluğu parametreleri s eklenerek ayarlanır, böylece görüntünün rengi geri yüklenebilir.
Parlaklık aralığını sıkıştırma sürecinde, aşağıdaki renkli görüntü geri yükleme formülü kullanılır ve işlemden önceki ve sonraki parlaklık bilgileri, görüntünün renk bilgisini geri yüklemek için renk gamında kullanılır.
Cl, RGB renk uzayında LDR görüntüsünün üç kanallı bileşeninin renk değeri olduğunda, Ch, RGB renk uzayındaki HDR görüntüsünün üç kanallı bileşeninin renk değeridir; Lin ve Lout, giriş görüntüsü sıkıştırmasından önceki ve sonraki parlaklık verileridir, s Çıktı görüntüsünün renk doygunluğu parametrelerini ayarlayın.
Yüksek dinamik görüntü, ton eşleme sıkıştırma işlemine tabi tutulduktan sonra, görüntünün farklı bölgelerindeki piksel parlaklık değerinin değişim derecesi farklıdır. Parlaklık değerinden önceki ve sonraki değişim derecesine bakılmaksızın, sabit s değeri ayarı bazı alanlarda hala renk bozulmasına neden olur ve tüm alanların iyi bir renk algısına sahip olmasını sağlayamaz.Şekil 3, görüntüyü gerçekleştirmek için birkaç sabit s değerinin nasıl ayarlanacağını gösterir. Tedaviden sonra efekt resmi.
Şekil 3'den görülebileceği gibi, s değeri sabit bir değer olduğunda, görüntüdeki her alanın etkisinin daha iyi olmasını sağlayamaz. Şekil 3 (b) 'deki parametre değeri 0.5 olarak ayarlandığında, görüntü ışığının altındaki yaprakların renk doygunluğu daha iyidir, ancak ağacın altındaki alanın doygunluğu daha düşüktür. Görüntüdeki farklı alanların doygunluğunu görsel efektle daha uyumlu hale getirmek için, sabit s değerinin ayarı iyileştirilir ve uyarlamalı ayar elde etmek için herhangi bir piksel için karşılık gelen s değer işlemesi vurgulanır.
Öncelikle parlaklık değerindeki değişim dikkate alınarak, değişim derecesini ölçmek için parlaklık değeri işlemeden önceki ve sonraki D oranı kullanılır ve ifade şu şekildedir:
Formülde, D sıkıştırmadan önceki ve sonraki parlaklık oranıdır ve eşleme sabitidir. Parlaklık oranı D normalleştirilmiştir Bu zamanda, herhangi bir pikseldeki parlaklık oranının büyüklüğü, geçerli pikselde sıkıştırmadan önceki ve sonraki değişiklikleri yansıtır.
Şekil 4'teki eğri, görüntü sıkıştırmadan önce ve sonra parlaklık oranı D ile renk doygunluğu parametresi s arasındaki ilişkiyi gösterir. Sıkıştırma oranı D küçük olduğunda, noktadan önceki ve sonraki renk değişiminin büyük olmadığı anlamına gelir (Şekil 3 (b) 'de ışık altındaki parlak alanda gösterildiği gibi), bu, HSI renk uzayındaki nokta üzerindeki doygunluk S değişiminin büzülme etkisinde yansıtılır. Çok büyük değil. Şu anda, RGB renk uzayında, mevcut piksel noktasını ayarlamak için daha küçük bir s değeri kullanılmalıdır ve etki daha iyidir; sıkıştırma oranı D daha büyük olduğunda, noktadan önceki ve sonraki renk değişimi açıktır (Şekil 3 (d)) Doygunluk S değişiminin noktanın daralması üzerinde daha büyük bir etkiye sahip olduğu için HSI renk uzayında yansıtılan orta ağacın altındaki karanlık alan). Şu anda, RGB renk alanı mevcut pikseli işlemek için daha büyük bir s değeri kullanmalıdır ki bu daha iyi . İkisi arasındaki ilişki şu şekildedir:
Formülde b ve c sabittir, D sıkıştırmadan önceki ve sonraki parlaklık oranı ve s doygunluk katsayısıdır. Her pikselin oranına göre, s değeri, yukarıda bahsedilen karşılık gelen ilişki vasıtasıyla uyarlamalı olarak seçilebilir. Bu zamanda, görüntüdeki her piksel için, işlem için karşılık gelen bir s değeri vardır, bu da görüntünün her pikselinin aynı s değeriyle işlenmesini önler.
Son olarak, b ve c katsayılarının değerlerini ayarlayarak, görüntü daha iyi renk performansı elde edebilir. Şekil 5, geliştirilmiş algoritma işlemenin sonucunu göstermektedir.
Şekil 5'ten, görüntüyü işlemek için geliştirilmiş algoritmanın kullanılmasıyla görüntünün renk doygunluğunun daha iyi olduğu ve b ve c değerlerinin sırasıyla 1 ve 0.2 olduğu görülebilir.
1.2.2 Renk geliştirme
HDR kamera HDR görüntüleri yakaladığında, ortamdaki ışık kaynağından etkilenecek ve sentezlenmiş yüksek dinamik görüntünün renk sapmasına neden olacaktır. Bu nedenle, görüntü rengi geri yüklendikten sonra, renk performansını artırmak ve renk atması olgusunu ortadan kaldırmak için renk restorasyonundan sonra görüntünün R, G ve B bileşenlerini ayarlamak için renk geliştirme faktörleri Kr, Kg, Kb'nin kullanılması gerekir. Renk geliştirme faktörünün hesaplama ifadesi şöyledir:
Bunlar arasında Kr, Kg, Kb elde edilen renk ayarlama faktörleri, Rij, Gij, Bij ise görüntüdeki belirli koşulları karşılayan piksel noktalarında R, G ve B bileşenlerinin gri değerleridir. Özel piksel görüntüleme yöntemleri aşağıdaki gibidir:
(1) Görüntüdeki her pikselin R / G ve B / G değerlerini sayın;
(2) Bu noktada R / G ve B / G değerlerinin, Şekil 6'daki deney ortamında kalibre edilen renk sıcaklığı eğrisindeki noktalı çizgiler arasındaki alan dahilinde olup olmadığını belirleyin. Bu alan, renk sıcaklığı eğrisinin üst ve alt sınırlarının sürekli olarak ayarlanmasıyla belirlenir ve üst ve alt sınırların aralığı, görüntüdeki her pikselin R / G ve B / G düşme noktalarının istatistikleriyle elde edilir;
(3) Koşulları karşılayan pikseller için, R, G ve B bileşenlerinin gri değerleri istatistiksel olarak toplanır.
Şekil 6'daki renk sıcaklığı eğrisi, deneysel ışık kutusunda 6500 K, 4000 K ve 2700 K renk sıcaklığında 24 renk kartı çekmek ve görüntüdeki her pikselin R / G ve B / G düşme noktalarını saymak için bir kamera kullanır. , Doğrusal enterpolasyon ve iki boyutlu eğri kalibrasyonu ile elde edildi. Son olarak, yukarıdaki yöntemle elde edilen kazanç katsayıları Kr, Kg ve Kb sırasıyla ton eşleme algoritmasındaki R, G ve B bileşenleriyle çarpılır:
2 Deneysel sonuçlar ve analiz
Bu deneyde Windows 7 sistemi altında MATLAB platform geliştirme ortamında testte kullanılan HDR görüntüsü, aşağıdaki sahneleri çekmek için yüksek dinamik sensör MT9M034 ile donatılmış, FPGA + DM368'den oluşan bir HDR kameradan geliyor ve boyutu 1.280 × 960 Ham formatta HDR görüntüler. MT9M034 yüksek dinamik sensörün yüksek dinamik aralığı, çoklu pozlama teknolojisi ile elde edilir ve işlenebilen dinamik aralık 120 dB'ye ulaşır. Daha sonra bu makaledeki algoritmayı, görüntü rengi görünüm modeline dayalı iCAM06 algoritmasını ve karşılaştırmak için Retinex'e dayalı sıkıştırma algoritmasını kullanın ve sonuçlar Şekil 7-9'da gösterilmektedir.
İnsan gözünün sezgisel algısı, görüntü rengi restorasyonunun kalitesini değerlendirmede ana faktör olduğundan, bu makale test görüntü işlemenin sonuçlarını değerlendirmek için üç algoritma seçer ve öznel bir yargıya varmak için karşılaştırmalı bir yöntem kullanır. Şekil 7, Şekil 8 ve Şekil 9'da gösterilen üç algoritmanın etkileri gözlemlendiğinde, iCAM06 algoritması ve Retinex algoritması ile işlenen görüntülerin renk açısından zayıf performans gösterdiği görülebilir. Algoritma işlenmeden önce ve işlendikten sonra görüntünün etkisini daha doğrudan açıklamak için, görüntünün bilgi entropisi objektif kriteri olarak seçilmiştir. Bilgi entropisi, görüntünün içerdiği bilginin zenginliğini yansıtır ve boyutu, mevcut görüntüde bulunan bilgi miktarını temsil edebilir.Sonuçlar Tablo 1'de gösterilmektedir.
3 Sonuç
Bu yazıda, HDR görüntü renginin yeniden yapılandırılması sürecinde, yeniden oluşturulan LDR görüntünün renk görünümü ile kaynak görüntünün ton eşleme işleminin etkisi ve çekim ortamının aydınlatma koşullarından dolayı tutarsızdır ve renk gamında bir renk ayarlama algoritması önerilmiştir. Algoritma, önce parlaklık alanında logaritmik sıkıştırmayı ve görüntüyü işlemek için kontrastı sınırlayan uyarlanabilir histogram eşitleme algoritmasını kullanır; daha sonra renk alanında, renk doygunluğu parametreleri, sıkıştırmanın neden olduğu rengi telafi etmek için görüntünün her pikselindeki parlaklık oranıyla uyarlamalı olarak ayarlanır. Bilgi kaybolur; son olarak, renk geliştirme faktörü, aydınlatma koşullarından kaynaklanan renk atması sorununu düzeltmek için kullanılır.
Referanslar
HU K J, LU M Y, WANG J C, vd. Otomatik olarak kenarı koruyan renkli görüntüyü geliştirmek için uyarlanabilir ton eşleme kullanma Eurasip Görüntü ve Video İşleme Dergisi, 2010, 2010 (1): 1-11.
KASLIWAL H, MODI S. Dinamik aralığın azaltılması için hibrit ton haritalama operatörüne dayanan yeni bir yaklaşım. Procedia Computer Science, 2015, 58: 265-271.
KUANG J, JOHNSON G M, FAIRCHILD M D.iCAM06: HDR görüntü işleme için iyileştirilmiş bir görüntü görünüm modeli Görsel İletişim ve Görüntü Temsil Dergisi, 2007, 18 (5): 406-414.
REINHARD E, STARK M, SHIRLEY P, vd. Dijital görüntüler için fotografik ton üretimi Proc. SIGGRAPH, 2002, 21 (3): 267-276.
MANTIUK R, MANTIUK R, TOMASZEWSKA A, ve diğerleri Ton eşleme için renk düzeltme Bilgisayar Grafikleri Forumu, 2010, 28 (2): 193-202.
REZA A M. Gerçek zamanlı görüntü iyileştirme için kontrast sınırlı uyarlamalı histogram eşitlemesinin (CLAHE) gerçekleştirilmesi, Journal of Vlsi Signal Processing Systems for Signal Image and Video Technology, 2004, 38 (1): 35-44.
Yao Hongtao, Li Xinyan. RGB uzayda HDR görüntü sentezi ve renk ayarlama algoritması. Changchun Üniversitesi Bilim ve Teknoloji Dergisi (Natural Science Edition), 2015, 38 (5): 145-149.
Wang Min, Li Binqiao, Xu Jiangtao.Renk sıcaklığı tahminine dayalı otomatik beyaz dengesi algoritması araştırması Optoelektronik · Lazer, 2011 (12): 1872-1875.
Lu Bibo, Chen Jing, Wang Jianlong ve diğerleri.Geliştirilmiş çok ölçekli bir Retinex ton eşleme algoritması.Bilgisayar Mühendisliği ve Bilimi, 2017, 39 (5): 951-957.
Luo Xuemei, Wang Yifeng, Zeng Ping, vd.Renk görünümü eşleştirmeli yüksek dinamik aralıklı görüntü üretimi Bilgisayar Araştırma ve Geliştirme, 2013, 50 (8): 1787-1796.
yazar bilgileri:
Chen Wenyi1, Zhang Long2, Yang Hui1
(1. Nesnelerin İnterneti ve Sanayileşme ve Sanayileşmenin Entegrasyonu Enstitüsü, Xi'an Posta ve Telekomünikasyon Üniversitesi, Xi'an 710021, Shaanxi, Çin;
2. İletişim ve Bilgi Mühendisliği Okulu, Xi'an Posta ve Telekomünikasyon Üniversitesi, Xi'an, Shaanxi 710021)
