Ayrıntılı açıklama: Binoküler ADAS'ın teknik avantajları ve ürün uygulamasına giden yol | Hard Creation Open Class
Leifeng.com'un notu: Bu makalenin içeriği, Zhongke Huiyan'ın genel müdür yardımcısı Meng Ran'ın, Leifeng.com altında Xinzhijia (WeChat ID: AI-Drive) sütunu tarafından düzenlenen ve düzenlenen sert yaratım açık sınıfındaki paylaşımından geliyor.
China Vision Group'un eski kurucu ortağı Meng Ran, sinyal işleme, makine görüşü ve diğer ilgili alanlarda araştırma ve geliştirme faaliyetlerinde bulunmuştur. On yıldan fazla bir süredir tasarım ve pazar operasyonlarında çalışmaktadır. Görsel ürünlerin üretimi ve pazarlanmasında zengin deneyime ve milyarlarca satış performansına sahiptir. , Ve makine vizyonuyla ilgili bir dizi patente sahiptir. 2014 yılında Beijing Zhongke Smart Eye Technology Co., Ltd.'yi kurdu ve şirketin ürün geliştirme ve pazarlamasından sorumlu genel müdür yardımcısı olarak görev yaptı.
Giriş
Leifeng.com'un açık sınıfının bu sayısı aşağıdakileri içerir:
1. Araba algılamasında kullanılan sensör türleri;
2. Monoküler görüş ve binoküler görmenin özellikleri ve avantajları;
3. Binoküler görmenin anahtar teknolojisi;
4. Binoküler derinlik bilgisinin değerlendirme indeksi;
5. Binoküler kameraların geliştirilmesi;
* Açık sınıfın tam videosu
1. Araba algısı için kullanılan sensör türleri
Otonom sürüş, algılama, karar verme ve kontrol olmak üzere ikiye ayrılır. Algılama, üç sensör kategorisine ayrılır: radar, monoküler görüş ve dürbün görüşü.
Lidar, milimetre dalga radarı ve farklı dalga boylarına sahip çeşitli radarlar dahil olmak üzere birçok radar türü vardır. Lidar, uzun algılama mesafesine, yüksek doğruluğa ve hızlı geri bildirim hızına sahiptir. Ancak yüksek maliyet ve siyah nesnelere duyarsızlık gibi dezavantajlar da vardır. Milimetre dalga radarı, tek mod ve ikili moda bölünmüş iki boyutlu bir radardır. Milimetre dalga radarı canlı organizmalara duyarlı değildir ve ultrasonik radarın menzili sınırlıdır.
Monoküler görme ilk olarak tanıma ile sınıflandırılır. Örneğin arabalar, yayalar ve daha sonra nesneye olan çarpışma mesafesini hesaplayın, yani monoküler görüş ile hesaplanan değer sadece bir çarpışma zamanıdır.
Binoküler görüş özel ölçümler yapmaz, ancak sensör ile nesne arasındaki mesafeyi hesaplamak için sol kamera ile sağ kamera arasındaki paralaksı kullanır ve böylece çarpışma uyarısını gerçekleştirir.
Kendi kendine giden bir araba için, esas olarak şu parçalardan oluşur (yukarıda gösterildiği gibi):
Kamera (monoküler veya dürbün), lidar, milimetre dalga radarı ve ultrasonik radar gibi çeşitli radarlar. Peki radar genellikle neyle uyumludur? GPS, atalet navigasyonu ve yüksek hassasiyetli haritalar ile. GPS, konumlandırma için kullanılır ve eylemsiz navigasyon, konumlandırma olmadığında doğru konum hesaplaması sağlar.Yukarıda bahsedilen sensörler, otonom araçlar için akıllı bir sistem oluşturur.
Tüm bu bilgiler, yol planlamasını gerçekleştiren ve sonunda arabayı tam olarak kontrol etmek için arabanın yürütme sistemine aktaran "beyninde" toplanır.
Genel olarak ADAS, kaza olasılığını 2,7 saniye önceden% 90'ın üzerine düşürebilir.
Aslında, birçok insan, ilerleme ne kadar uzun olursa, o kadar güvenli olur, ama değildir gibi yanlış bir kavrayışa sahiptir. Ön uyarı süresi ne kadar uzun olursa, sürücünün belirli kararlarına müdahale eder. Ancak önceden uyarı süresi ne kadar kısa olursa, sürücünün geri bildirim vermek ve bir kazaya neden olmak için zamanı olmayabilir.
Bu nedenle en iyi yol, sürücünün sürüş alışkanlıklarına uygun olarak zamanı ne çok fazla ne de çok az ilerletmektir, bu zamandaki deneyim en iyisidir.
Öyleyse, radar ve kamera sadece bir tür sensöre mi ihtiyaç duyar? Tabii ki değil. Artık sektörde bir fikir birliği var: Tamamen otonom araçların geleceği, çoklu sensör füzyon algılama yöntemleri olmalıdır.
Radar, uzun mesafeli büyük hedefleri tespit etmede iyidir.Görüntü algılaması için (monoküler ve dürbün), bu algı aslında iki boyutludur ve bu, park yeri girişinde ve çıkışında genellikle radar tarafından tespit edildiğinde kaybolan enine çubuk gibi ayrıntıları yakalamak için daha uygundur. . Örneğin, şerit çizgileri, trafik işaretleri ve daha küçük nesneler, görsel yöntemler kullanırsak daha doğru tespit edilebilir.
2016'dan önce, Volvo, Mercedes-Benz ve BMW gibi neredeyse tüm üst düzey modeller Mobileye monoküler görüş ile donatılmıştı.
Son yıllarda, 2016 Mercedes-Benz S-Class, 2016 Mercedes-Benz E-Class, 2016 BMW 7 Serisi, 2017 BMW 5 Serisi, Subaru'nun tümü monokülerden dürbüne değişti, yeni Tesla da dahil. Dürbün.
Dolayısıyla, görüş alanında dürbünün monokülün yerini alıp almayacağı, artık bazı eğilimler görülebilir. Zaten bazı üst düzey modellerde, dürbünler yavaş yavaş monoküler çözümlerin yerini almıştır.
2. Monoküler görüş ve dürbün görmenin özellikleri ve avantajları
Hangisi daha iyi, monoküler mi yoksa dürbün mü? Her ikisinin de kendi avantajları ve özellikleri vardır.
Monoküler için ilk adım, görüntü boyutundaki değişikliklere bağlı olarak çarpışma süresini tanımlamak ve sınıflandırmak ve ardından tahmin etmektir. Binoküler ve monoküler prensibi tamamen farklıdır: dürbünün modellenmesi gerekmez, nesneleri tanıması gerekmez, ancak mesafeyi hesaplamak için sol göz ile sağ göz arasındaki paralaksı kullanır.
"Sol göz ile sağ göz arasındaki paralaks" nedir?
Yukarıda gösterildiği gibi dürbünlü kamera önünde (sol üstte): yakında bir kişi ve uzakta bir ağaç var Sol gözün oluşturduğu görüntü için kişi ağacın sağ tarafında, sağ göz için kişi ağaçta olacak Sola.
Bu iki görüntüyü bir araya getirirsek (sağ üstteki şekil b), kameraya daha yakın olan kişilerin daha büyük bir paralaksa sahip olduğunu ve kameradan daha uzaktaki bir ağacın daha küçük bir paralaksa sahip olduğunu göreceksiniz. O zaman kameradan sonsuz uzaktaysa, paralaksı sıfır olabilir.
Paralaks, bire bir mesafeye karşılık gelir ve doğru bir uyumdur ve dürbün bu iki boyutlu görüntüyü üç boyutlu verilere dönüştürebilir. Üç boyutlu verilere dönüştürüldükten sonra, tonlar üç boyutlu verileri daha net ifade eder: sıcak tonlar yakını, soğuk tonlar uzaklığı temsil eder.
Binoküler algı renkli bir görüntü (yukarıda gösterildiği gibi) gösterecektir, bu görüntü kızılötesi bir görüntü değil, üç boyutlu bir bilgi haritasıdır (derinlik haritası). Bu görüntü sayesinde, üç boyutlu bilginin algılanmasını net ve sezgisel olarak görebiliriz.
Monoküler maliyet nispeten düşüktür, ancak sorunu, yalnızca normal engelleri algılayabilmesidir. Arabalar, yayalar ve hatta bisikletler gibi. Hayvanlar da algılanabilir, ancak ön koşul, çok sayıda hayvan örneğinin modellenmesi gerektiğidir.
Ancak yoldaki pek çok bilgi sayılamayacak kadar çoktur: çöp kutuları, binalar, ağaçlar, çiçekler ve diğer engeller gibi. Ancak modellemeye gidip örneklerini toplarsanız, monoküler de tanımlanabilir, ancak bu iş yükü çok büyük. Bu nedenle, monoküler için yalnızca standart engeller temelde tanınır.
İkili amacın avantajı nedir? Tüm engelleri algılamak için çok sayıda örneği modellemeye veya toplamaya gerek yoktur, ancak dezavantajı büyük miktarda hesaplama yapmaktır - sonuç, çipin maliyetinin artmasıdır. Elbette tüm dürbün yapısı da daha karmaşıktır.
Yukarıdaki resim yaptığımız dürbün kameranın kabuğu. Dürbün için iki kameranın göreceli konumunun kalibrasyondan sonra değiştirilememesi şartı vardır. Bu, dört mevsim değiştiğinde herhangi bir değişiklik yapmadan göreceli konumunu korumak için dürbünleri kabuğa sıkıca kilitlemek için çok özel bir kabuk kullanmamızı gerektirir.
Bu nedenle, muhafazayı tasarlarken ve geliştirirken çok çaba sarf ettik: Özel bir metal kullandık ve dürbün kamerası için böyle bir muhafaza oluşturmak için bir kez şekillendirdik.
Yukarıdaki resim bir 2014 Japonya araştırma raporudur: Fuji Heavy Industries, Volvo, Nissan ve BMW'nin dört modelinin sensör konfigürasyonunun kombinasyonunun değerlendirilmesi yoluyla.
Fuji Heavy Industries'in dürbün kamerası; Volvo'nun "milimetre dalga radarı + monoküler kamera + kızılötesi lazer" kombinasyonu; Nissan'ın monoküler kamerası; BMW'nin monoküler kamerası. Nihai sıralama şu şekildedir: dürbün yedi puan ve puan diğer sensör kombinasyonlarından daha yüksektir.
Genel olarak konuşursak, dürbün maliyeti monokülerden yaklaşık% 20 ila% 30 daha pahalı olacaktır. Ancak kamera ve radar kombinasyonundan neredeyse% 100 daha düşüktür ve çok iyi bir performansa sahiptir.
Bu nedenle, gelecekteki sensör füzyonunun dürbün kameraları ve radarın bir kombinasyonu olabileceğine inanıyoruz.
3. Binoküler görmenin temel teknolojisi
Binoküler görmenin temel teknolojisinin üç gereksinimi vardır: netlik, doğruluk ve olgunluk.
İlki açıklıktır. Bu, tüm görsel ürünlerin gereğidir: monoküler ve dürbün dahil.
Netlik nedir? Örneğin, bir araba tünelden çıktığında veya bir tünele girdiğinde, siyah ve beyaz sınırlar olduğunda, görüntünün iyi bir kontrast veya dinamik aralığa sahip olması ve yakınsama hızının olması gerekir (Not: Dış ortam ışığı değiştiğinden, yazılımın buna ayarlanması gerekir. Değişim, ayarlama işlemi tek adımda yerine getirilmez, ayarın başlangıcından son uygunluğa kadar geçen süre yakınsama hızıdır) hızlı olmalıdır, tünelden çıktıktan sadece iki saniye sonra normal bir duruma yakınlaşmak imkansızdır.
OV (OmniVision) ve Sony gibi genellikle kullandığımız sensörler, binlerce parametre olduğu için her sensörün farklı ayarlarında belirgin etkilere ve farklılıklara sahip olacaktır. Bu nedenle, kameranın ayarlanması ve seçilmesi görsel sensör için en önemli önceliktir.
İkincisi, çift amaçlı algoritmadır: "yüz" ve "kenar" temelli. Görüntü işleme alanında, şablon eşleştirme adı verilen ve üç türe ayrılmış bir teknik vardır: yüz eşleştirme, kenar eşleştirme ve geometrik eşleştirme.
Kenar eşleştirme kavramı nedir? Kenar, dış çevre gibi aydınlık ve karanlık arasındaki farkın bariz olduğu sınırdır. Kenar eşleştirirken, bu yüksek frekanslı kontur sol ve sağ gözlerle eşleştirilecektir, çünkü paralaks eşleştirmeden sonra belirlenebilir.
Eşleştirmeye devam etmek için bu konturu kullanın, biz buna kenar eşleştirme diyoruz. Yüz eşleştirme adı verilen her nokta eşleştirilebilir. Yüz eşleştirmenin hesaplama karmaşıklığı kenar eşleştirmeden çok daha büyük olsa da, birincisinin güvenilirliği de ikincisinden daha büyüktür.
Kenar eşleştirme yalnızca kısmi bir kontur eşleştirmesi olduğundan, kontur olmayan alanda engellerin olup olmadığını belirlemek imkansızdır. Başka bir deyişle, sınır dışı alan algılanmaz ve engeller olduğunda çarpışmalar meydana gelir. Bu yüzden ADAS sisteminin hala kullanılabileceğini düşünüyoruz. Bir dürbün sistemi kullanılıyorsa, hesaplama için kenar eşleştirme yine de kullanılabilir, böylece hesaplama miktarı azaltılır ve hesaplama verimliliği iyileştirilir.
Ancak otomatik bir sürüş sistemi için, güvenilirliğini artırmak için, daha güvenilir bir etki elde etmek amacıyla öndeki mesafeyi algılamak ve tespit etmek için yüzey eşleştirmeyi kullanmalıdır.
Üçüncüsü, ürün şirketleri sıklıkla seri üretim problemleriyle karşılaşır. Destekleyici ekipmanın olgunluğu gibi biraz daha fazla ayrıntı.
Binoküler görüş kalibre edildiğinde, genişleme, yer değiştirme ve döndürme gibi, göreli bir konum değişikliğini veya dürbün kameranın her noktasının değişikliğini belirleyebilen siyah beyaz bir ızgara kalibrasyon panosu vardır.
Japonya'da araştırma yaptığımız zamanlar da dahil olmak üzere prototipleri araştırırken, ekipmanı kalibre etmek için bir kalibrasyon panosu tutmaları için insanları kullandık. Bir kalibrasyon matrisi elde etmek için bir cihazın kalibrasyonunu tamamlamak 1 ila 2 saat sürdü. Kamera kalibrasyonu.
Ancak ekipman seri üretim sürecinde, yüksek zaman ve maliyet nedeniyle bu şekilde tamamlayamıyoruz. Bu nedenle, bu kalibrasyon ekipmanının dürbüne özel tasarım, geliştirme ve üretimini gerçekleştirmeliyiz. Şimdi bir kameranın kalibrasyonunu tamamlamak için yaklaşık iki dakikaya ihtiyacımız var.
Kamera için, otomatik olarak odaklanmak ve dengelemek için her iki kamera da düz tutulmalıdır. ADAS sistemi fabrikadan çıkmadan önce tüm bu gereksinimlerin tamamlanması gerekir. Bu nedenle ürünlerin seri üretimini yaparken teknolojinin olgunluğu çok önemlidir.
Algılamak
Görüntülemenin zorluğu nedir? Örneğin, arka ışıkla görüntüleme.
Arkadan aydınlatıldığında insan gözü de kör olacaktır. Dolayısıyla bu, kameranın bir güneş ışığı sorunu olan arka ışığa uyum sağlamasını gerektirir.
Genel olarak konuşursak, güneş parladığında (sol üst resimde olduğu gibi), yanındaki sahnenin çok karanlık olduğunu göreceğiz. Otomatik bir pozlama stratejisi benimsediğimiz için, diğer sahnelerin arkadan aydınlatıldığında özellikle karanlık olmaması gerekir: şerit çizgilerini, arabaları, yolları ve yakındaki manzarayı açıkça görebiliriz.
Akşam, düşük ışıkta (sağ üst resimde gösterildiği gibi) veya yağmur yağdığında, insan gözü için de çok zayıftır.
Tabii ki, insan gözünün otomatik bir ayarlama işlevi vardır.Bir öğrenme ve adaptasyon döneminden sonra, maruz kalma süresi aslında uzar. Gerildikten sonra bu nesneler daha net görülebilir.
Kamera için pozlama süresi de uzar Uzatıldıktan sonra daha net görünecek ancak kontrast kaybolacaktır. Çünkü pozlama süresi uzatıldıktan sonra, tüm küresel pozlama süresi uzayacak ve genel görüntü daha parlak olacak, ancak kontrastı olmayacak.
Geceleri şunu istiyoruz: görüntü çok karanlık değil, sahneler arasında kontrast olmalı, şerit çizgilerini, yolları, engelleri, arabaları, yayaları vb. Açıkça görebilirsiniz. Başka bir deyişle, istediğimiz şey bir zıtlık meselesidir.
24 saatlik yüksek kaliteli görüntülemenin zorluğu, görüntüleme kalitesi için niceliksel standartları birleştirmenin zor olmasıdır ve ADAS kameraları genellikle arka ışık, yağmur ve sis gibi koşullar altında değerli ayrıntılar sağlayamaz.
Bu nedenle lens ve sensörün analizi ve deneyi ile kamera parametrelerini bu gereksinimlere göre ayarlamamız gerekir. Sonuç olarak, ister gündüz arkadan aydınlatma isterse büyük aydınlatma, gece düşük aydınlatma veya sokak lambaları durumunda olsun, görüntüleme sistemi için algoritmanın gereği olan ön sahnenin çok iyi bir kontrastına ihtiyacımız var. Şu anda binlerce parametresini test etmemiz ve ayarlamamız gerekiyor.
analiz
Binoküler algoritma için gereksinimleri çok yüksek ve biz bunu üç boyuttan değerlendiriyoruz.
Öncelikle binoküler algoritma için gereklilikler ortaya koyuyoruz, tüm noktaların algısal olması gerekiyor ve algı doğru.
İkincisi, bu algılama alanlarında gürültü ve gürültü yoktur. Gürültü kırmızıysa, yakındaki bir engel olarak değerlendirilebilir ve aracın aniden frenlenmesine neden olabilir. Koyu mavi ise çok uzak bir engel olarak değerlendirilecektir. Bu seslerin aşırı olmasını istemiyoruz, ancak bu seslerin mümkün olduğunca bastırılabileceğini umuyoruz.
Üçüncüsü, delik yok (yukarıda resmedilmiştir). Bazı görüntülerde bu alanda eşleşme olmadığını gösteren çok sayıda delik vardır, bu da mesafe algısı olmadığı anlamına gelir. Mesafe algısı olmazsa engeller varsa çarpışabilir.
İstediğimiz derinlik haritası daha düzgün ve yumuşak mı? Hayır, çünkü çok pürüzsüz, bazı küçük engelleri kaybettiğini kanıtlıyor. Yani yukarıdaki tüm gereklilikler yerine getirildiğinde, ağaçlar, sokak lambaları, yayalar gibi bazı küçük engellerin de aynı doğrulukla tespit edilebileceğini umuyoruz.
Dolayısıyla, binoküler algoritma göstergeleri aslında birbiriyle çelişiyor. Düzgün, gürültüsüz ve deliksiz olmasını istiyoruz ve küçük engelleri algılamasını istiyoruz. Elbette tüm engelleri algılamak, algısal sonuçları daha kararlı ve doğru hale getirebilir, bu, binoküler algoritmanın değerlendirilmesinin boyutudur.
4. Binoküler derinlik bilgisinin değerlendirme indeksi
Mükemmel derinlik haritası nedir?
Dört boyut: yüzey uyumu, gürültü yok, delikler ve bu temelde tüm küçük engeller algılanabilir. Bu, binoküler derinlik haritası için bir değerlendirme indeksidir.
Yukarıdaki resmin derinlik haritasını görüyoruz.Yol yüzeyi yakından uzağa, sarıdan açık maviye koyu maviye yumuşak bir geçiş. Umudumuz şu algıdır: kademe kademe değişiklikler meydana gelir, her iki yanda ağaçlar, ortadaki araba ve uzaktaki gökyüzü çok doğru ve gürültü yok, çok sürekli ve pürüzsüz.
etkililik
Neden verimliliğe ihtiyacımız var?
Örneğin, sol ve sağ görüntü eşleştirmesi saniyede 15 kez gerçekleştirilirse, araç hızı 120 km / s'dir ve bu, her 2,22 metrede bir algılamaya eşdeğerdir. Yani bu mesafede aniden bir engel belirirse, kamera bunu algılamayacak ve bu da risk oluşturacaktır.
Yani saniyede 30 kare hesaplarsak, araç hızı 120 km / saattir, bu da her 1,11 metrede bir algılamaya eşdeğerdir. Bu risk, şu anda yapılan hatadan büyük ölçüde azaltılmıştır.
Bu nedenle, saniye başına ne kadar fazla algılama yapılacağını umuyoruz, bu aynı zamanda hesaplama verimliliğimiz ne kadar yüksekse kararlılık, güvenilirlik veya güvenlik de o kadar yüksek demektir.
Sabit bir hesaplama performansı yongası için verimlilik ne kadar yüksek olursa, algoritmanın basitleştirilmesini gerektirecektir, ancak etkinin basitleştirilmesi düşük verimlilikle sonuçlanacaktır. Etkililik ve verimlilik aslında bir çelişkidir. Bu nedenle, ürün yapılırken verimlilik ile etkinlik arasında bir denge kurmak gerekir.
5. Binoküler kameranın geliştirilmesi
Yukarıdaki resim birinci nesil dürbün kameramızdır.
Dürbün kameranın kendisinde bazı sorunlarla karşılaştık. Örneğin, OV'nin aynı anda pozlama ve dürbün algısını destekleyen bazı daha iyi çipleri var, ancak bu ürünü yaparken satın aldığımız sensör çipi aynı anda pozlamayı desteklemiyordu.
İlk olarak, pozlama kesinlikle senkronize edilir. Bir binoküler kameranın en temel gerekliliği, iki sensörün aynı anda pozlanması ve pozlamanın zaman farkının mikrosaniye düzeyinde kontrol edilmesi gerektiğidir, aksi takdirde yakalanan görüntülerin eşleştirilmesi mümkün değildir.
İkinci olarak, sensörün konumu sabitlenmelidir. İki kamera arasındaki göreceli konum kesinlikle sabit olmalı ve mikron seviyesine ulaşmalıdır.
Üçüncüsü, dürbün kameranın ısı yayma problemi. Tüm görsel algı, rüzgarın estiği ve güneşin parladığı ön cama bağlanmalıdır. Çift amaçlı gücün kendisi büyüktür ve fan aktif ısı dağıtımı için kullanılamaz. Bu, kabuğun ve ısının tasarımına ve hesaplanmasına büyük önem vermemizi gerektirir.
Yukarıdaki resim, dürbün kamera ve lidar arasındaki performans karşılaştırma testidir.
Bu sahnede önde birkaç küçük kutu var Velodyne lidar tarafından yayılan lazer ışınının kırmızı ile, Ibeo'nun yaydığı lazer ışınının mavi ile ve dürbün kamerasının siyah noktalarla temsil edildiğini görüyoruz.
Velodyne'in lazer ışınının temelde MPV algoritmasının noktasıyla çakıştığını görüyoruz. Bu aynı zamanda Velodyne'in küçük engelleri tespit ederken dürbün kameralarının etkisine daha yakın olduğunu da gösteriyor.
Kamera iki boyutlu algılamadır ve lidar bir lazer ışını yayar. Engel, hat ile hat arasındaki mesafe olursa, kaçırılmış algılama riski olabilir. Bu yüzden çok uzaktaki nesneleri tespit etmek için radara ihtiyacımız var ve erken uyarı gerekiyor.
Orta ve kısa mesafelere odaklanan görsel ürünlere gelince, daha hassas ve küçük problemlerle karşılaştığında daha doğru olacaktır. Benim benzetmem "Radar karpuz tutuyor, vizyon susam topluyor." Yani tüm sistemde entegre olması gerekir ve vazgeçilmezdir.
Harika Soru-Cevap
Soru: Pratik uygulamaları karşılamak için binoküler ADAS'ta binoküler görüntü işlemenin piksel ve kare hızı nedir? Binoküler görüntü işlemede algoritmaların bir kısmını veya tamamını uygulamak için FPGA kullanmanın herhangi bir avantajı veya dezavantajı var mı?
Cevap: ADAS ve otonom sürüş sistemleri için, pikseller ve çerçeveler için farklı gereksinimleri vardır. Yardımlı sürüş için, kare hızının otomatik sürüşe göre daha düşük olması dahil, dürbün görüntü pikselleri için gereksinimler otomatik sürüş için olanlardan çok daha düşüktür.
Görüntü hesaplama paralel hesaplamadır.GPU veya FPGA kullanacağız. FPGA, GPU'dan daha verimli. FPGA daha çok özelleştirilmiş bir çip gibidir. GPU veya diğer ARM çipleri, algoritmalar için tasarlanmamış genel amaçlı çiplerdir. Bu nedenle, FPGA'nın hesaplama çözünürlüğü daha yüksektir ve kare hızı daha yüksek olacaktır.
S: Binoküler kalibrasyon çevreden büyük ölçüde etkileniyor mu? Örneğin, araç titreşimi ve sıcaklığı gibi faktörler kameralar arasındaki kalibrasyonu etkiler mi? Çevrimiçi bir otomatik kalibrasyon algoritmasına ihtiyacınız var mı?
Cevap: Binoküler kalibrasyon esas olarak yapısal tasarımdan etkilenir. Yapısal tasarım göreceli mesafenin değişmemesini veya biraz değişmemesini sağlayabilirse, o zaman ortamın üzerinde çok az etkisi olur. Çevresel etkilerin en aza indirilebilmesi için yapısal tasarım, malzemeler ve yapısal üretim süreçleri çevresel etkilere uyum sağlamalıdır.
Ek olarak, en iyi yapıyı bile özellikle küçük değişiklikler için garanti etmek zordur. Bu nedenle, uyarlanabilir bir otomatik kalibrasyon algoritmasına da ihtiyaç vardır. Ancak bir öncül var: Deformasyon çok küçük bir aralıkta olmalıdır. Deformasyon çok büyükse, uyarlamalı düzeltme düzeltilemez. Bu nedenle, ana mesafesinin değişmemesini sağlamak için yapıyı kullanmalıyız ve ardından ortamın neden olduğu küçük değişiklikleri düzeltmek için otomatik kalibrasyon algoritmasını kullanmalıyız.
Soru: Lensler ve sensörler sıkıştırılması zor bileşenlerdir Maliyetin bu kısmını artırmak, geleneksel monoküler çözümlere göre makul bir maliyet-etkin performans artışı sağlayabilir mi?
Cevap: Ekipmanın tamamında lens ve sensör çok pahalı değildir. Lens ve sensörün maliyeti 100 yuan'dan az olmalıdır. Bu ekipmanın ana maliyeti bilgi işlem yongası CPU'su, FPGA veya GPU'dan gelir. Dürbün kullanımı nedeniyle, hesaplama miktarı çok büyük hale geldi ve bu da merkezi işlem için daha yüksek gereksinimlere ve artan maliyetlere yol açtı. Hesaplamadan sonra, dürbün maliyeti monoküler maliyetin yaklaşık% 20'si kadar olmalıdır.
Performansa gelince, monoküler ve dürbün kendi avantajlarına sahiptir Monoküler tanıma ve sınıflandırmaya, dürbün ise nirengi temeline dayanır.
