Görme keskinliğine dayalı Q-STAR model parametre tahmini
Du Lin, Tian Chang, Wu Zemin, Zhang Zhaofeng, Hu Lei, Zhang Lei
(İletişim Mühendisliği Okulu, PLA Bilim ve Teknoloji Üniversitesi, Nanjing, Jiangsu 210007)
: Q-STAR modeli, mevcut objektif video kalitesi değerlendirmesinde sübjektif puana en yakın modeldir.Ancak, kod çözücünün, paket kaybı kod çözme işleminden sonra YUV video dizisinden kodlayıcı ile tutarlı hareket vektörü bilgisini çıkarması zordur, bu nedenle modeli etkiler Parametrelerin tahmini. Bu probleme yönelik olarak, görme keskinliği bilgisine dayalı bir model parametre tahmin yöntemi önerilmiştir, zamansal ve uzaysal görme keskinliği özellikleri YUV video dizisinden çıkarılmış ve tahmin için Q-STAR modelinden çıkarılan özelliklerle birleştirilmiştir. Tahmin için orijinal hareket vektörü bilgisini değiştirmek için görme keskinliği bilgisinin kullanılmasıyla elde edilen model parametre değerlerinin temelde Q-STAR ile tutarlı olduğu ve hesaplamanın daha basit olduğu deneyler yoluyla bulunmuştur.
: Video aktarım kalite güvencesi; öznel algı; parametre tahmini; görme keskinliği bilgisi
: TN919.85 Belge tanımlama kodu: ADoi: 10.19358 / j.issn.1674-7720.2017.01.013
Alıntı biçimi Du Lin, Tian Chang, Wu Zemin, vb. Görme keskinliğine dayalı QSTAR modeli parametre tahmini J. Mikrobilgisayar ve Uygulama, 2017, 36 (1): 40-43.
0 Önsöz
Video aktarım kalite güvencesinin nihai amacı, alıcı son videonun hizmet kalitesini sağlamaktır.İlk olarak, insanın öznel duygularıyla tutarlı bir video kalitesi değerlendirme modeli oluşturmak gerekir. Son yıllarda, insan görsel algısının özelliklerine uyan değerlendirme göstergelerinin oluşturulması üzerine giderek daha fazla çalışma odaklanmıştır [1-2]. Yaygın yöntem, öznel değerlendirme sonuçlarını analiz etmek ve değerlendirme sonuçlarının gerçek öznel değerlendirme sonuçlarına yaklaşık olmasını sağlamak için karşılık gelen bir model oluşturmaktır. Literatür [3-4] ilk olarak kare hızı ve niceleme adım boyutunun zaman alanı ve kalite alanından öznel algı ve bit hızı üzerindeki etkilerini incelemiş ve ardından çözünürlüğün öznel algı üzerindeki etkisini literatürde eklemiştir [5] ve Ortak bir QSTAR modeli önerilmektedir. Literatür [6], video kalitesini değerlendirmek için görme keskinliğini, zaman bilgisini temsil etmek için bitişik video kareleri arasındaki farkı kullanmayı, video hasarını temsil etmek için kaynak video ile test videosu arasındaki zaman bilgisi farkını kullanmayı ve regresyon ağacı yöntemini kullanmayı önerdi. Öznel puanı tahmin edin.
Bu yazıda, zamansal ve uzamsal görme keskinliği bilgisi, yeni özellik değerleri olarak YUV video dizisinden çıkarılmış ve model parametreleri tahmin edilmiştir.
1Q-STAR modeli
Literatür [5], niceleme adım boyutu, kare hızı ve çözünürlüğün videonun öznel algılama kalitesi üzerindeki etkilerini kalite alanı, zaman alanı ve uzamsal alanın üç yönünden inceledi ve ortak video öznel algı modeli QSTAR'ı elde etti. Modelin hesaplama ifadesi ve parametre tahmini aşağıdaki gibidir:
Bunlar arasında q, f, s, sırasıyla videonun niceleme adım boyutunu, kare hızını ve çözünürlüğünü temsil eder; q, f, s, v1 ve v2 video içeriğiyle ilgisi olmayan sabitlerdir; q, f ve s video içeriğiyle ilgilidir. Sırasıyla parametreler, niceleme adımı, kare hızı ve çözünürlük değiştikçe videonun öznel algılanan kalitesinin ne kadar hızlı değiştiğini gösterir; DFD, hareket tahminine dayalı iki bitişik kare arasındaki kare farkının ortalama değerinin standart sapmasıdır; FD, iki bitişik kare arasındaki farktır Çerçeveler arasındaki çerçeve farkının ortalama değerinin ortalaması, , her çerçevenin piksel değerlerinin standart sapmasının ortalamasıdır, (FD, ) = FD / ; Gm, her çerçevenin Gabor filtre çıktı değerinin ortalama değerinin ortalamasıdır; H, 3 × 4 tahminidir Katsayı matrisi.
QSTAR modeli, 6 video sekansının (şehir, ekip, liman, futbol, bahçe ve ustabaşı) parametrelerini tahmin etmek için kullanılır. Şekil 1, 6 video dizisinin basitleştirilmiş bir diyagramıdır. Tahmin edilen sonuçlar Tablo 1'de gösterilmektedir. Tablo 2, sübjektif puanın en küçük karelere uydurulmasıyla elde edilen model parametre değerlerini göstermektedir ve bu değer, parametre tahmininin kalitesini değerlendirmek için model parametre tahmininin gerçek değeri olarak kullanılmaktadır. (Tablodaki video dizisi ilk iki harfle temsil edilmektedir).
Tablo 1'deki sonuçlar incelendiğinde, yoğun hareket ve karmaşık sahneler içeren video dizileri için Q-STAR model parametrelerinin tahmininde büyük hatalar olduğu bulunmuştur Analizin nedeni model parametrelerinin tahmininde DFD özelliğinin kullanılmasıdır. DFD, hareket tahminine dayalı olarak iki bitişik çerçeve arasındaki çerçeve farkının ortalama değerinin standart sapmasıdır. Yoğun hareket ve karmaşık sahnelere sahip video dizileri için, hareket vektörü bilgileri ve artık bilgiler diğer video dizilerinden çok daha büyüktür ve doğru hareket tahmini yapmak zordur.Hareket tahmininin yanlışlığı, özellikleri oluşturan hareket telafisinden sonra artan hatalara yol açar. DFD'nin hesaplanması yanlıştır ve model parametrelerinin tahmininde hatalara neden olur. Diğer yandan, hareket vektörü bilgisinin 264 bit akışından çıkarılması gerekir ve doğrudan YUV video dizisinden elde edilemez Video iletim işlemi sırasında paket kaybı meydana gelirse, kodu çözülmüş videoda etkili hareket vektörü bilgisinin elde edilmesi zordur. Tahmin, yalnızca kodlama sonunda video kalitesi değerlendirmesi için veya paket kaybının olmadığı koşullar altında kullanılabilir. Yukarıdaki problemleri çözmek için, bu makale görme keskinliğine dayalı bir parametre tahmin yöntemi önermektedir.
2 Görme keskinliği
Literatür [6], görme keskinliğini [7-8] videonun algısal kalitesi olarak tanımlar ve çevrimiçi görme keskinliği hesaplaması için bir yöntem sağlar. Görme keskinliği, en temel insan görme sistemi (İnsan Görme Sistemi, HVS) görsel işleme mekanizmasıdır ve HVS'nin farklı frekanslardaki görsel sinyallere tepki gücünü, özellikle zaman-alanlı kontrast duyarlılığı ve uzamsal kontrast duyarlılığını karakterize eder.
Zaman alanlı kontrast duyarlılığı, esas olarak video dizisinin sürekliliğinde yansıtılan kare hızının etkisini yansıtır ve kareler arasındaki farkı yansıtır. Şekil 2, aynı videonun kare hızı sırasıyla 3.75, 7.5, 15 ve 30 olduğunda aynı konumda 5 ardışık kareyi göstermektedir. Şekil 2'den görülebileceği gibi, kare hızı ne kadar büyükse, kareler arasındaki fark o kadar küçüktür ve video dizisinin devamlılığı o kadar iyidir; kare hızı ne kadar küçükse, kareler arasındaki fark o kadar büyük olur ve sonuçta video dizisinin tutarsızlığı ortaya çıkar. , "Zıplama" olgusu belirir.
Zaman alanı bilgisi Ti, zaman alanı kontrast duyarlılığını temsil etmek için kullanılır ve Ti'nin hesaplama ifadesi aşağıdaki gibidir:
H ve W sırasıyla videonun yüksekliğini ve genişliğini temsil ettiğinde; c renk derinliğini temsil eder; Fn (i, j) videonun n'inci karesindeki (i, j) konumundaki piksel değerini temsil eder; N ise videonun kare sayısını temsil eder.
Uzamsal kontrast duyarlılığı esas olarak video dizisinin boyutunda yansıtılan çözünürlükten etkilenir Şekil 3, aynı videonun aynı pozisyondaki karelerini iki çözünürlükte gösterir. Şekil 3'ten görülebileceği gibi, çözünürlük ne kadar büyükse, insan gözünün öznel algısı o kadar iyidir; çözünürlük ne kadar küçükse, öznel algıda azalmaya neden olma olasılığı o kadar yüksektir.
Hava sahası bilgisi Si, hava sahası kontrast hassasiyetini temsil etmek için kullanılır.Si'nin hesaplama ifadesi aşağıdaki gibidir:
Model parametre tahmininde hareket vektörü bilgisi problemini çözmek için sırasıyla kaynak video zaman alan bilgisi Tio ve uzamsal alan bilgisi Sio ve zaman alanı bilgisi Test videosunun Tit ve uzamsal bilgi Sit hesaplanır ve zaman alanı bilgisi ve uzamsal bilgi DTi ve Yeni bir özellik olarak DSi şu şekilde hesaplanır:
3 Model parametresi tahmini
Model parametrelerini tahmin etmek için mümkün olduğunca az özellik kombinasyonu kullanmak için, bu makale her bir özelliğin model parametreleri üzerindeki etkisini doğrulamak için literatürde [5] kullanılan çapraz doğrulama yöntemini kullanır. Video dizisinden çıkarılan özellikler Tablo 3'te gösterilmektedir. Çapraz doğrulama yönteminin temel fikri, her deney için test dizisi olarak rastgele bir video dizisi seçmektir ve video dizilerinin geri kalanı eğitim için kullanılır, P = [s, f, q] T, F = [1, f1, f2, ..., fK] T, tahmin denklemi = HF, burada K, seçilen özelliklerin sayısıdır. K = 1'den başlayarak, mm-Pm2 yerleştirme hatasını en aza indirmek için farklı özellikler seçin; burada m, eğitim video sekanslarının sayısıdır. Uydurma hatası önemli ölçüde değişmeyene kadar K değerini kademeli olarak artırın, böylece en iyi özellik kombinasyonu F ve tahmin matrisi H elde edilir. Tablo 3 Video özelliği açıklaması. Özellik sembolleri FDFDSTDNFD (FD, ) = FD / GaborGmTiDTiSiDSi'yi gösterir. Eğitim için beş video dizisi seçilir ve test için bir video dizisi kullanılır. Tahmin sonuçları hesaplanır ve en küçük kareler sığar Değerler arasındaki hata için, özellik kombinasyonu hatanın boyutuna göre seçilir Tablo 4, farklı sayıda özellik kombinasyonu altında en iyi özellik kombinasyonunu ve minimum hatasını gösterir.
Tablo 4'ten görülebileceği gibi, K = 4 olduğunda hatanın en küçük olduğu ve K = 3 durumundaki hatanın K = 4 durumundan sadece 0.013 farklı olduğu görülmektedir.Bu nedenle, model parametreleri için DTi, (FD, ) ve Gm'nin üç özelliği seçilmiştir. Tahmin denklemi denklem (12) 'de gösterilmiştir.
4 deneysel sonuç
Deneysel simülasyon platformu MATLAB 2010b'dir. Şehir, ekip, liman, futbol, bahçe ve ustabaşı ile ilgili 6 videoyu test edin. Bu makale, kodlama için H.264 kodlama standardını kullanır, kodlama yapısı IPPP'dir, GOP uzunluğu 25'tir, QP değerleri 28, 32, 36, 40 ve 44'tür ve kare hızı 3,75, 7,5, 15 ve 30'dur. Çözünürlük genellikle video aktarımı sırasında değişmeden kalır Bu nedenle deneyde, test için standart video kütüphanesindeki 352 × 288 video dizisi seçilir ve 28 QP ve 30 kare hızına sahip kodlanmış bir video dizisi öğrenme video dizisi olarak kullanılır. Model parametrelerini tahmin etmek için öğrenme video dizisinden gerekli özellikleri çıkarın. Tahmin sonuçları Tablo 5'te gösterilmektedir. Çözünürlükteki değişiklik dikkate alınmadığı için, model parametrelerinin tahmin sonucu da dikkate alınmaz. Odak noktası model parametrelerini karşılaştırmaktır q Tablo 1, Tablo 2 ve Tablo 5'in analizi aracılığıyla, q model parametrelerinin tahmininde, bu makalede önerilen tahmin yönteminin genellikle QSTAR'ın tahmin sonuçlarından daha iyi olduğu görülebilir. f model parametresinin tahmininde, liman ve futbol gibi yoğun hareketli video sekansları ve karmaşık sahneler için, bu makalede önerilen tahmin yönteminin QSTAR tahmin sonuçlarından daha iyi olduğu, ancak düzgün hareketli ve basit sahneli videolar için olduğu bulunmuştur. Mürettebat ve bahçe gibi sekanslar için, bu makalede önerilen tahmin yöntemi, QSTAR'ın tahmin sonucundan biraz daha kötüdür. Bunun nedeni, bu tür bir video için, hareket tahmininin daha doğru olması ve hareket telafisinden sonra elde edilen DFD özelliğinin daha doğru olmasıdır, bu nedenle tahmin edilen sonuç En küçük kareler uydurma sonucuna daha yakın. İletim işleminde genellikle sabit bir kare hızı kullanılır ve kare hızı 15 fps'den yüksektir Videonun öznel algılanan kalitesi en çok QP'den etkilenir ve Q-STAR modelinin tahmini 264 bit akışından hareket vektörü bilgisini çıkarması gerekir. Görme keskinliğine dayalı QSTAR modeli, hareket vektör bilgisi yerine görme keskinliği bilgisini kullanarak aynı etkiye ulaşabilir ve hata kabul edilebilir aralıkta olduğu için bu yazıda önerilen yöntem daha iyidir.
5. Sonuç
Ağ video uygulamaları giderek daha popüler hale geliyor ve kullanıcı deneyimini garanti etmek birincil hedeftir PSNR'ye dayalı uçtan uca bozulma tahmini koruması, literatürde olduğu gibi distorsiyonu en aza indirmeyi amaçlamaktadır [9]. İnsan görsel sisteminin karmaşıklığı, bu koruma ile insan algısı arasındaki farkı belirler.Öjektif algı değerlendirmesine dayalı video aktarım garantisi, son yıllarda sıcak bir araştırma konusu haline geldi. Bu makale, görsel keskinliğe dayalı olarak mevcut öznel algı modeli QSTAR'daki model parametrelerini yeniden tahmin eder, q model parametrelerinin tahmin doğruluğunu iyileştirir ve yoğun hareket ve karmaşık sahneler içeren video dizilerindeki s ve f model parametrelerini çözer. Büyük tahmin hataları sorunu, ancak düzgün hareketli ve basit sahneli video dizilerindeki model parametrelerinin tahmin doğruluğunun iyileştirilmesi gerekiyor. Aynı zamanda, model parametrelerinin tahmini için gerekli olan video özellikleri sadece YUV video dizisinin kendisi tarafından çıkarılır ve karşılık gelen 264 bit akışı gerekli değildir Aktarım paketi kaybı durumunda, alıcı ucun hareket vektörü bilgisini yeniden tahmin etmesi gerekmez. Parametre tahmininin doğruluğu, hesaplamayı daha basit hale getirir ve bu, video kalitesi değerlendirmesi ve video aktarımının uçtan-uca garantisi için etkin bir şekilde kullanılabilir.
Referanslar
1 Jiang Gangyi, Zhu Yapei, Yu Mei, ve diğerleri Algıya dayalı video kodlama yöntemlerine genel bakış J. Elektronik ve Bilgi Dergisi, 2013, 35 (2): 474-483.
2 LEE J, EBRAHIMI T. Algısal video sıkıştırma: bir anket J. IEEE Journal of Selected Topics in Signal Processing, 2012, 6 (6): 684-697.
3 OU YF, MA Z, LIU T, ve diğerleri. Hem kare hızı hem de niceleme yapaylıkları dikkate alınarak videonun algısal kalite değerlendirmesi J. Video Teknolojisi için Devreler ve Sistemlerde IEEE İşlemleri, 2011, 21 (3): 286- 298.
4 MA Z, XU M, OU YF, vd. Kare hızı ve niceleme adım boyutunun işlevleri olarak sıkıştırılmış videonun hızının ve algısal kalitesinin modellenmesi ve uygulamaları J. Video Teknolojisi için Devreler ve Sistemler Üzerine IEEE İşlemleri, 2012 , 22 (5): 671-682.
5 OU YF, XUE Y, WANG Y. QSTAR: uzamsal, zamansal ve genlik çözünürlüklerinin etkisini dikkate alan algısal bir video kalitesi modeli J. IEEE İşlemleri Görüntü İşleme, 2014, 23 (6): 2473- 2486.
6 BAIK E, PANDE A, STOVER C, MOHAPATRA P. Mobil cihazlarda video keskinliği değerlendirmesi C. 2015 Bilgisayar İletişiminde IEEE Konferansı (INFOCOM), HONG KONG, 2015: 1-9.
7 LIN W, KUO C C J. Algısal görsel kalite ölçütleri: anket J. Görsel İletişim ve Görüntü Temsil Dergisi, 2011, 22 (4): 297-312.
8 BALACHANDRAN A, SEKAR V, AKELLA A, et al.
9 LI C, XIONG H, WU D. Kablosuz kanallar üzerinden uçtan uca video iletişimi için geciktirme oranı distorsiyonu optimize edilmiş hız kontrolü J. Video Teknolojisi için Devreler ve Sistemlerde IEEE İşlemleri, 2015, 25 (10 ): 1665-1681.
