"Academic Paper" FPGA tabanlı 3B Görüntü Sensörü Tasarımı ve Uygulaması
Mevcut 3D çekim ekipmanının büyük boyutu ve yüksek fiyatı sorunlarına yönelik olarak, FPGA yüksek hızlı paralel işleme özelliği ve görüntü sensörü kullanılarak minyatür bir gömülü 3D görüntü sensörü tasarlandı. FPGA senkronizasyon ayarı aracılığıyla, ikili CMOS görüntü sensörünün görüntü verileri toplanır, ara belleğe almak için SDRAM'a iletilir ve satır pikselleri ile birleştirilir ve sol ve sağ stereo görüntü çiftleri saklanır
Gözlüksüz 3D teknolojisi, "On Üçüncü Beş Yıllık" Ulusal Stratejik Gelişmekte Olan Sanayi Geliştirme Planında belirtilen önemli bir geliştirme alanıdır. Plan, sanal gerçeklik, artırılmış gerçeklik, holografik görüntüleme ve çıplak gözle 3D grafik görüntüleme (çıplak gözle 3D) gibi temel teknoloji yeniliklerinin hızlanmasını göstermektedir. Gelişme kararlılığı. Film ve televizyon çekimi için kullanılan 3 boyutlu kameralar hacimli, yapı olarak karmaşık ve pahalıdır.Gömülü sistemlerin uygulanması için uygun değildirler ve çıplak gözle 3B teknolojisinin endüstriyel uygulamasını ciddi şekilde kısıtlarlar. Bununla birlikte, taşınabilir ürünlerin ve TV'lerin CPU'ları, aynı anda 3D görüntüleri toplama arabirimine ve yeteneğine sahip değildir, bu nedenle görüntü 3D sensörleri, görüntü verilerini paralel olarak yüksek hızda işlemek için yalnızca FPGA veya CPLD aygıtlarını kullanabilir.
Bu makale, insan gözü biyonik prensibine dayalı gömülü bir mikro 3D görüntü sensörü tasarlar, 3D görüntü alma, aktarma, depolama ve görüntüleme elde etmek için donanım mantığı yöntemlerini inceler ve taşınabilir alan için 3D görüntü verileri elde etmek için bir yol sağlar ve çıplak göz 3D'yi çözmeye çalışır. Teknoloji üretiminin karşılaştığı teknik darboğazlar.
01 Sistem tasarım fikirleri
Stereo görme ilkesine göre, 3B görüntüler eşzamanlı olarak toplanmalı ve görüntüleme netliği, optik eksen yakınsaması ve paralaks eşleştirme gereksinimlerini karşılamalıdır.
3D görüntü sensörü sistem yapısı, görüntü verilerini arabelleğe almak için iki CMOS görüntü sensörü ve SDRAM içerir.İki görüntü sensörünü eşzamanlı olarak yapılandırmak ve toplamak için, mantık kontrol çipi olarak yalnızca FPGA (veya CPLD) kullanılabilir.
Sistemin genel yapısı Şekil 1'de FPGA + çift CMOS + çift SDRAM donanım yapısı kullanılarak gösterilmektedir. FPGA, ana kontrol çipi olarak Alteranın EP3C25Q240C8Nini kullanır; görüntü sensörünün çözünürlük gereksinimlerini karşılamak için CMOS görüntü sensörü 5 milyon piksel OV5640 kullanır; FPGA, OV5640 tarafından alınan görüntü verilerini toplar ve SDRAMa önbelleğe alır ve kapasitesi bir kareyi karşılamalıdır. Yüksek çözünürlüklü görüntü verileri için depolama gereksinimleri. 3D görüntü sensörünün görüntü çekimi ve video kaydetme yönteminin yol gösterici fikri, aynı anda çizgi pikselleri ile toplanan iki OV5640'ın görüntü verilerini birleştirmek ve tam genişlikli veya yarı genişlikli stereo görüntüleri sol ve sağ formatta SD karta depolamaktır. Gerçek zamanlı bir izleme cihazı olarak çıplak gözle 3D LCD ekran kullanan FPGA mantığı, sol ve sağ görüntülerin piksel yeniden yapılandırmasını kontrol eder ve ardından görüntüleme için çıplak gözle 3D ekrana girilir.
FPGA bir CPU yapısı değil, karmaşık mantık devrelerini uygulayabilen özelleştirilebilir bir cihaz olduğundan, bağlı cihazlar için mantık kontrol modülleri tasarlamak gerekir. 3D görüntü sensörlerinin işlevsel gereksinimlerine ve görüntü verilerinin akışına göre, FPGA'nın dahili mantık tasarımı görüntü toplama modülü, SDRAM önbellek kontrol modülü, SD kart depolama modülü, çıplak gözle 3D LCD ekran kontrol modülü ve sistem kontrol modülünü içermelidir.
OV5640 çalışma saati 24 MHz, FPGA harici saat 50 MHz, SDRAM çalışma saati 100 MHz, LCD çalışma saati 25 MHz, bu nedenle sistem kontrol modülünün saat etki alanları arasında veri iletişimi sorununu çözmesi gerekiyor. FPGA'nın iç mantık tasarımı Şekil 2'deki gibi gösterilmiştir.
02 Görüntü verisi toplama ve arabelleğe alma yöntemi
3D çekim sırasında, iki görüntü sensörü etkili bir şekilde senkronize edilmezse, hareketli nesnenin pozlama görüntülemesinde bir zaman farkı olacaktır.Sonuç, sol ve sağ göz görüntülerinin senkronize edilmemesi, böylece 3D vizyonun oluşturulamaması ve ekranın başarısız olmasıdır. Bu nedenle, 3D görüntü sensörü, piksel düzeyinde senkronizasyonu sağlamalı ve görüntü sensörünün doğru senkronizasyon yapılandırmasını ve senkronizasyon edinimini tamamlamak için FPGA donanım mantık kontrolünü kullanmalıdır.
2.1 Görüntü sensörü senkronizasyon yapılandırması ve veri toplama
OV5640'ın çalışma kayıtlarını SCCB (seri kamera kontrol veriyolu) aracılığıyla yapılandırın. Bu makale, görüntü sensörünün görüntü çıkış verilerini RGB565'e ve ardından görüntü izleme ekipmanının çözünürlüğüne göre 1024 × 768 ve 800 × 600, sol ve sağ göz görüntülerini ayarlar Sensörün çözünürlüğü, yarı genişlik ilkesine göre 512 × 768 ve 400 × 600 olarak ayarlanır ve kare hızı, FPGA mantık algoritmasının doğru olup olmadığını doğrulamak için 30 f / s'dir.
OV5640 başlatıldıktan sonra, görüntü sensörü çalışmaya başlar ve ayarlanan kare hızına göre veri arayüzünden görüntü verilerini çıkarır. FPGA, PCLK (piksel saati), HREF (hat senkronizasyon sinyali) ve VSYNC (alan senkronizasyon sinyali) kontrolü altında OV5640'ın görüntü verilerini toplamaya başlar ve toplanan bitişik iki baytı 16'ya dönüştürmek için mantık algoritması tasarlar. Bit görüntü verileri. Hat ve alan sinyallerini ve veri sinyallerini çevrimiçi olarak toplamak için Signal-tapII'yi kullanmanın zamanlama dalga formları Şekil 3'te gösterilmektedir. PCLK yükselen kenarda olduğunda, hat ve alan sinyalleri algılanır.VSYNC düşük seviyede ve HREF yüksek seviyede olduğunda, görüntü verisinin toplandığı anlamına gelir. VSYNC sinyali düşük seviyeden yüksek seviyeye değiştiğinde, yeni bir görüntü verisi çerçevesi toplandığı anlamına gelir. Şekil 3'teki dalga biçimini inceleyerek, tasarlanan görüntü sensörünün veri toplama için mantıksal algoritmasının doğru olduğunu görebiliriz.
2.2 Görüntü veri önbelleği
Saat etki alanları arasında veri iletişimi sorununu çözmek için, OV5640 ve SDRAM'ı bağlamak için FPGA içinde wr_FIFO ve rd_FIFO oluşturulur. Wr_FIFO, OV5640 tarafından toplanan görüntü verilerini almak için kullanılır ve rd_FIFO, görüntü verisi çıktısını LCD'ye tamponlamak için kullanılır. Wr_FIFO, wr_req (veri yazma talebi) aldığında, OV5640 tarafından toplanan veriler wr_FIFO'da arabelleğe alınır; rd_FIFO, rd_req'i aldığında (veri okuma talebi), rd_FIFO, arabelleğe alınan veriyi LCD ekrana çıkarır.
Etkili veri işlemeyi sağlamak için büyük miktarda 3B video görüntüsü verisi, yüksek aktarım hızı ve piksel düzeyinde senkronizasyon gereksinimleri nedeniyle, bir SDRAM kontrol modülü tasarlanır ve SDRAM üzerinde zaman paylaşımı işlemleri gerçekleştirmek için yuvarlak sıra yöntemi kullanılır. SDRAM bir yazma işlemi gerçekleştirdiğinde, veriler önce BANK0'a yazılır ve bir görüntü verisi çerçevesi yazıldıktan sonra BANK3'e geçilir; SDRAM bir okuma işlemi gerçekleştirdiğinde, BANK'a geçiş yapmak için aynı mantık kullanılır. Yukarıdaki mantığa göre, yuvarlak sıralı işlem SDRAM algoritması, SDRAM'daki görüntü veri önbelleğini daha basit ve verimli hale getiren bir SDRAM denetleyicisine paketlenir. Sol görüntü sensörünün veri arabelleği işlem akışı Şekil 4'te gösterilmektedir.
03 Görüntü saklama
SD kart, küçük boyut, düşük güç tüketimi, hızlı okuma hızı vb. Avantajlara sahiptir, bu nedenle taşınabilir depolama alanında yaygın olarak kullanılmaktadır. SPI, master-slave modunda çalışır.Sistem, SD kart ile FPGA arasındaki iletişimi gerçekleştirmek için SPI modunu kullanır. SPI_CLK (saat sinyali), SPI_MISO (host girişi ve slave çıkışı), SPI_MOSI (host output ve slave girişi), SPI_CSN (chip select sinyali) kompozisyon.
2.048 × 768 çözünürlüğe sahip sol ve sağ stereo çifti görüntüleri, üç işleme bölünmüş olan BMP formatında SD kartta saklanır: stereo çift görüntü verileri BMP görüntü veri formatına dönüştürülür; SD kart başlatma; SD kart yazma işlemi kontrolü. 3D görüntü sensörü tarafından toplanan görüntü verileri RGB565'tir ve SD kart, gerçek renkli RGB888 biçiminde saklanır, bu nedenle RGB565'ten RGB888'e dönüştürülmesi gerekir. İki seçenek vardır, biri düşük bit sıfır dolgu yöntemini almak, diğeri ise RGB565 verilerini yüksek bit'e kaydırmaktır. Post-düşük bit, orijinal verinin yüksek bitini telafi eder.Sistem, her iki şema üzerinde deneyler yürütmüştür ve görüntüleme etkisi tutarlıdır. SD kartın başlatılması, SD kartın başlatma sürecine göre gerçekleştirilir. Görüntü verilerinin üç boyutlu olarak doğru şekilde yazılabilmesi için SD kart sektörlerini yönetmek için FAT16 dosya sistemini kullanın.FAT tablosunu, kök dizini ve 54 B BMP dosya bilgilerini SD karta karşılık gelen fiziksel adrese yazmak için Verilog_HDL'yi (donanım tanımlama dili) kullanın. . Sol ve sağ veri kanallarının kontrolü altında, sol ve sağ görüntü verileri SD kartın veri alanına yazılır Sol veri kanalının flaş zamanlama diyagramı Şekil 5'te gösterilmektedir ve sağ veri kanalının flaş zamanlama ilişkisi aynıdır.
04 Görüntü ekranı
Toplanan görüntüleri görüntülemek için 8 inçlik bir çıplak gözle 3D görüntüleme ekranı kullanılır Çıplak gözle 3D görüntüleme ekranı, 2D ve 3D görüntüleme ile uyumludur, bu nedenle, piksel yeniden yapılandırmasından sonra sırasıyla sol ve sağ stereo çifti ekranı ve 3D görüntü için iki mantık algoritması tasarlanmıştır. Sistem, DE modu olarak LCD sürücü modunu kullanır. DE sinyali, hat ve alanın iki senkronizasyon sinyalinin bileşik sinyaline eşdeğerdir. DE_h ve DE_v'nin iki senkronizasyon sinyali, h_cnt ve v_cnt olmak üzere iki sayaç tarafından kontrol edilir. Mantık, DE = DE_hDE_v'dir. DE yüksek olduğunda Seviye olduğunda, LCD alınan görüntü verilerini gösterir.
2D ekranda, belirli bir paralakslı sol ve sağ stereo çifti görüntüleri LCD'ye eşlenir ve sol ve sağ veri flaş sinyalleri zamanlama standardına göre değiştirilir, böylece sol ve sağ görüntü verileri satırlar halinde görüntülenmek üzere LCD'ye iletilir. Stereo çifti görüntüsünü görüntülemek için LCD TV ve LCD'ye eşlemek için donanım üzerinde bir VGA arabirimi ve bir LCD arabirimi tasarlanmıştır Eşleştirme ilkesi aynıdır, ancak zamanlama farklıdır.LCD'ye sol ve sağ stereo çifti görüntü eşlemesinin şematik diyagramı Şekil 6'da gösterilmiştir.
3B ekranda, sol ve sağ görüntü verileri sırasıyla çıplak gözle 3B ekranın sol ve sağ alt ekranlarına eşlenir, yani sol görüntü verileri ekrandaki tek piksel sütununda eşlenir ve sağ görüntü verileri ekrandaki piksellerin çift sütununda eşlenir. Sol ve sağ görüntü verileri, çizgi sıkıştırma mantığı ile tasarlanır ve piksel yeniden yapılandırmasını tamamlamak için saat frekansına göre dönüşümlü olarak LCD'ye yazılır. Çıplak gözle 3D ekranın yapısı, sıradan 2D ekrandan çok farklıdır ve görüş açısı da farklıdır. İnsan gözü bağımsız izleme bölgelerinde olduğunda, sol ve sağ gözler bağımsız olarak görüntüleri sol ve sağ alt ekranlarda görebilir ve beynin görsel merkezinin füzyonu ile çıplak gözün 3D efekti oluşturulur. İnsan gözü bağımsız olmayan izleme bölgesinde iken, sol ve sağ göz, sırasıyla sol ve sağ alt ekranlardaki görüntüleri görebilir, bu sırada hayalet görüntüler oluşur ve izleme etkisi etkilenir. Şekil 7, yeniden konfigürasyondan sonra LCD'ye eşlemlenen görüntü piksellerinin sol ve sağ stereo çiftlerinin şematik bir diyagramını göstermektedir.
05 Simülasyon analizi ve deney
OV5640 tarafından toplanan 8 bitlik görüntü verilerinin, SDRAM önbellek işlemi sırasında RGB565 formatında 16 bitlik verilere dönüştürülmesi gerekir Gömülü mantık analizörü Signal-tapII, dönüşümü simüle etmek ve analiz etmek için kullanılır.Simülasyon dalga formu Şekil 8'de gösterilmiştir. Değer, mantık tasarımının doğru olduğunu doğrular. Piksel yeniden yapılandırıldıktan sonra çıplak gözle 3D ekranda görüntülenen görüntü verileri simüle edilip analiz edilir Dalga formu Şekil 9'da gösterilmektedir. Çevrimiçi simülasyon sayesinde, 3D görüntüleme sırasında görüntü verilerinin sol ve sağ görüntü sensörleri tarafından elde edilen görüntü verileriyle kesinlikle tutarlı olduğu görülebilir.
Sistem, deneyler yapmak ve toplanan yüksek tanımlı stereo görüntüyü doğru ve istikrarlı bir şekilde girmek ve görüntülemek için bir LCD TV ve çıplak gözle 3D ekran kullanır. 3D görüntü sensörü, görüntü piksellerinin stereo çiftlerini yeniden yapılandırır ve bunları görüntülemek için çıplak gözle 3D görüntüleme ekranına girerek iyi sonuçlar verir. Deneysel sonuçlar, tasarlanan 3B görüntü sensörünün ve onun mantık algoritmasının 3B görüntüleri tamamen toplayabildiğini, iletebildiğini, depolayabildiğini ve görüntüleyebildiğini ve bu da sistem donanımı mantık algoritmasının doğruluğunu onayladığını göstermektedir.
06 sonuç olarak
Taşınabilir 3D çekim ekipmanının geniş geliştirme beklentileri vardır İnsan stereoskopik görüş biyonikleri ilkesine göre tasarlanan 3D görüntü sensörü, FPGA'nın yüksek hızlı paralel işlemesinden yararlanır, donanım mimarisini daha entegre hale getirir ve 3D video görüntü kaynağı, depolama ve piksel sorununu çözer. Yeniden yapılandırma ve diğer sorunlar. Sistem kararlı bir şekilde çalışır ve iyi bir taşınabilirliğe sahiptir.Modül programını değiştirerek farklı görüntü sensörlerini ve monitörleri destekleyebilir, 2D ve 3D ekranı destekleyebilir ve daha iyi uyumluluğa sahiptir.
3D görüntü sensörü, 3D görüntüler elde etmenin bir yolunu sağlar.Kullanıcılar, 3D sahneleri her zaman ve her yerde kaydedebilir ve bir varlık ve daldırma hissi elde etmek için çıplak gözle 3D cihazlarda 3D sahneleri yeniden oluşturabilir. 3D görüntü sensörünün geliştirilmesi, 3D görüntü sensörünün ASIC tasarımı için faydalı bir referans sağlar.
