Ambarella Semiconductor İtalya Genel Müdürü ve IEEE Üyesi Alberto Broggi ile Diyalog: Binoküler Stereo Görüş Rotası ve Otonom Sürüşün Parlak Geleceği
L2 +, resmi olarak otonom sürüşün ana savaş alanı haline geldi; Ambarella'nın stratejisi, genel pazar eğilimine uygun bir ritim oluşturdu.
2015 yılında Ambarella, İtalyan VisLab şirketini 30 milyon ABD doları karşılığında satın aldı ve resmi olarak otopilot yoluna adım attı. Üç yıldan sonra, Ambarella otopilot çipinde güç toplamaya başladı; 2017'den itibaren, Ambarella, her yıl CES'te yeni bir otonom sürüş ürününü tanıtıyor.
Bu yıl CES'te Ambarella, otomotiv endüstrisinin sıkı yonga düzeyinde ASIL-B işlevsel güvenliğini karşılayan yapay zeka işleme için CVflow® mimarisine dayanan, otomotiv kameraları ve gelişmiş sürücü destek sistemleri (ADAS) için uygun iki sistem yongası CV22FS ve CV2FS çıkardı. standart.
CV22FS ve CV2FS'nin, otomobil üreticilerinin otomobillerin ön camına tekli ADAS kameraları kurmak için güç tüketimi gereksinimlerini karşılayabilen ultra düşük güç tüketimine sahip olduğu anlaşılmaktadır. Çip, kör nokta algılama (BSD) elektronik dikiz aynaları, sürücü ve kabin gözetleme kameraları ve akıllı yardımlı park panoramik park görüntüleme sistemi (APA) gibi ürünlerde de kullanılabilir.
Çoğu otopilot çip şirketinin aksine, Ambarella teknik rotada iki ayak üzerinde yürümeyi seçti.Yüksek verimli bir sinir ağını çalıştırmak için sadece yüksek performanslı bir CVflow® geliştirmedi, aynı zamanda yüksek performanslı binoküler stereo görüşü de destekliyor. Farklı kaynaklardan gelen görsel teknolojiler birbirini tamamlayabilir.
Endüstri genel olarak dürbün stereo kameranın oldukça tartışmalı ve zor bir rota olduğuna inanır Ambarella, dürbünün uygulanabilirliğini tam olarak kanıtlamak için ürünleri nasıl kullanıyor?
Leifeng.com Xinzhijia, Ambarella'nın binoküler stereo görüşünün arkasındaki güveni ve teknik yolu anlamak için, VisLab'ın kurucusu ve Ambarella Semiconductor İtalya'nın genel müdürü ve Parma Üniversitesi'nde bilgisayar mühendisliği profesörü olan Alberto Broggi ile konuştu.
Nuggets ADAS pazarı
2019'da ADAS pazarı ateşlenen bir pazar; Mobileye'nin ADAS'ı bu yıl 1 milyar dolarlık gelire katkıda bulundu.
Pazar geniş ve ADAS, otomotiv pazarındaki gerileme için iyi bir ilaç olacak ve bu yıl Ambarella'nın yolu, derin öğrenme hızlandırma için CVflow® mimarisine dayanan ve otomotiv endüstrisinin katı ASIL-B'sini karşılayan L2 +. İşlevsel güvenlik standartları.
İş stratejisi açısından, Ambarella'nın iki sihirli silahı vardır: CVflow® ve Stereo Vision. Hem monoküler hem de dürbün görsel algılama sistemleri iyi desteklenebilir.Ambarella, pazar ihtiyaçlarını en iyi karşılayan bir strateji geliştirmiştir. Bunların arasında, binoküler stereo görüş teknolojisi bir tür "gelişmiş teknik rezerv" olarak kullanılabilir, teknik eşiği yüksektir, ancak beklenti geniştir. Bir çip şirketi olarak, Ambarella'nın derin öğrenme hızlandırma ve binoküler stereo görüş algoritmalarındaki benzersiz özellikleri, sistemin genel performansını ve güvenlik düzeyini iyileştirmeye yardımcı olarak sistemi L3'e yaklaştırır.
Aracın ortamı çok özel olduğu için, araç sürerken dürbün kameralara neden olmak kolaydır ve iki mercek arasındaki konum ve açı değişecek, bu da derinlik algılama doğruluğunun azalmasına neden olacaktır.Bu yüzden çoğu otonom sürüş teknolojisi araştırma ve geliştirme şirketi dürbünü tercih etmez. Ana nedenlerden biri;
Aslında dürbünle toplanan bilgi miktarı lidarla tarandığından çok daha fazladır Monokülerle karşılaştırıldığında dürbün insan gözü gibidir ve mesafeleri daha doğru ölçebilir.
Bunun arkasında fiziksel nedenler var - lidar tarafından kullanılan ışık yakın kızılötesi bantta; kamera görünür ışık bandında ve görünür ışık ile yakın kızılötesinin dalga boyları çok benzer; ancak Ambarella'nın dürbün kamerasının ürettiği nokta bulutu lazerden daha fazlası. Radar tarafından oluşturulan nokta bulutu çok daha yoğundur. Aşağıdakiler, lidar ve Ambarella'nın binoküler stereo görüş sistemi tarafından aynı koşullar altında iddia edilen nokta bulutu etkisinin bir karşılaştırmasıdır:
(Leifeng.com'dan not: Solda Lidar nokta bulutu; sağda CV2 Stereo nokta bulutu)
2015 yılında Ambarella tarafından satın alınan Profesör Broggi tarafından kurulan Vislab, binoküler stereo algılama sistemini çözmede en iyisidir. Bu problem için Ambarella bunu donanım ve algoritma tarafından çözer.
Broggi Leifeng.com Xinzhijia'ya şunları söyledi: Binoküler görüş algoritmalarına adanmış bir donanım, karmaşık binoküler stereo görüş hesaplamalarını işlemede uzmanlaşmış ve 8 milyon piksel ile gerçek zamanlı ve doğru binoküler görüş elde edebilen CV2FS-SPU'da tasarlandı. Nesnenin şeklini ve boyutunu hesaplayın.
Binoküler stereo görüşün iki kamerasının tutarlılığı çok önemlidir Herhangi bir sapma, tanımayı etkileyecektir. Algoritma tarafında Ambarella, araç ortamı için dinamik bir kalibrasyon algoritması tasarlamıştır.Bu algoritma, sürüş sürecinde iki kamera arasında bir sapma olup olmadığını gerçek zamanlı olarak algılayabilir. İzin verilen aralıktaki sapma için, Ambarella'nın dinamik kalibrasyon algoritması bunu otomatik olarak düzeltebilir, böylece binoküler stereo görüşün doğruluğu tutarlı kalarak sürüş sırasında güvenliği sağlayabilir. Sürüş sırasında karşılaşılan karmaşık ışık sorunları için Ambarella, ilgili sorunları çözmek için yüksek dinamik ve 3D gürültü azaltma teknolojisi yapabilen özel görüntü işleme donanımı da tasarladı.
Pazar, tüm teknolojilerin mihenk taşıdır.Sadece pazara uyum sağlamayan teknolojiler vardır ve teknolojiye uyum sağlamayan bir pazar yoktur. Eşsiz teknolojik yol, pazarın Ambarella'ya olan güvenini de kazandı.
Ambarellanın CVflow® motoru, yüksek verimli sinir ağı hızlandırma, düşük güç tüketimi ve kapsamlı sinir ağı desteği gösterir. Dünya çapında daha fazla ortak, CVflow® kullanarak farklı derin öğrenme algoritmaları geliştirmiştir ve birkaç araba düzenleme projesi vardır. Seri üretime girin.
Hella Aglaia, çok kategorili hedef tespiti ve sınıflandırması, serbest sürüş alanı tespiti, derinlik tahmini ve trafik ışığı ve trafik işareti tanıma dahil olmak üzere Ambarella CV22 yongasıyla donatılmış CVflow® motoruyla hızlandırılmış en son derin öğrenme ADAS algoritma paketini piyasaya sürecek. Fiziksel ve ileriye dönük ADAS görsel algısı.
Hella'ya ek olarak, Güney Koreli algoritma şirketi StradVision, ileri ADAS ve sürücü izleme sistemi (DMS) algoritma paketlerini uygulamak için tek bir CV22 yongasıyla donatıldığını da gösterdi.Bu sistem bir binek otomobile kurulur ve yalnızca 8 milyon kullanır. Pixel öne bakan kamera ve kabin içi kamera.
Daha geniş L4 pazarı
Çip için mimari çok önemli.Güncel otomatik sürüş algoritmaları büyük ölçüde sinir ağlarına dayanıyor.
CPU, GPU ve FPGA'dan farklı olarak, Ambarella çipinin CVflow®'u, çeşitli bilgisayar görme işlevlerini gerçekleştirebilen sinir ağlarını çalıştırmak için özel olarak optimize edilmiştir.Bu mimarinin piyasaya sürülmesi, Ambarella'nın uzun yıllara dayanan araştırma ve geliştirme ekibine bağlıdır. Derin öğrenmenin çip uygulaması, derinlemesine analiz ve keşiflere girer ve VisLab'ın uzun yıllar boyunca görsel algılama algoritmaları birikiminden yararlanır.
Cipslerin esnekliği ve maliyet etkinliği arasında nasıl denge kurulacağı, sektör için her zaman bir sorun olmuştur.
Broggi Xinzhijia'ya şunları söyledi: "Binoküler görüş algoritmaları için donanım SPU'yu tasarlamaya ek olarak, Ambarella ayrıca bir özellik çıkarma modülü tasarladı - temel donanım desteği olarak bu en hızlı. Ambarella'nın SoC ayarları çok Esnektir, bazıları sağlam donanımdır ve bazıları programlanabilir ve değiştirilebilir yazılım parçalarıdır. Böyle bir tasarım yalnızca donanım modüllerinin avantajlarını yansıtmakla kalmaz, aynı zamanda geliştirici gelişimini desteklemek için esnek modüller sağlar. "
Aslında, Ambarella'nın katılaşmasının donanım kısmı yıllar içinde yinelenmiştir. Ambarella'nın CV1'inden bu yana sürücüsüz yol testi gerçekleştirildi.Gerçek yol deneyimi sayesinde, çipin sonraki iterasyonu sırasında hangi donanımın yükseltilmesi ve hangi modüllerin değiştirilmesi gerektiğini açıkça bilmek mümkündür.
2018'in başlarında Ambarella, Silikon Vadisi'nde otonom sürüş için yol testlerine başladı. Profesör Broggi'ye göre, Xinzhijia: "Şu anda Silikon Vadisi sürücüsüz filosu CV2 yongaları üzerinde çalışıyor. Ambarellanın önceki nesil CV1 yongalarıyla karşılaştırıldığında, CV2, CV2ye dayalı olarak gereken hesaplama gücünün 20 katını sağlıyor. Bu deneyimler aynı zamanda yeni nesil çiplere de aktarılacak. "
Bu yıl Ambarella, farklılaştırılmış tasarım ve yüksek performans elde etmek için otomotiv OEM'leri ve yazılım geliştirme ortakları için açık bir platform sağlayabilen ASIL güvenlik standartlarını karşılayan CVflow® çipleri CV22FS ve CV2FS'yi piyasaya sürmek için cesur bir karar verdi. Otomotiv sistemi geliştirme.
Aslında, Ambarella daha gelişmiş otopilot sürecinde de konuşlandırıldı. Broggi Xinzhijia'ya şunları söyledi: Gelecekte Ambarella L4 otopilot çipleri sadece algılama katmanının işlevlerinden sorumlu olmayacak, aynı zamanda karar verme ve kontrolü de entegre edecek. Birinde.
Bir deneme sürüşü
CES'te Ambarella, bir dizi çip ürünü matrisini gösterdi.
Bunların arasında Ambarella'nın CV2 çipi, gece ortamında binoküler stereo görüş ile engelleri doğru bir şekilde çerçeveleyebilir ve şerit çizgileri, yayalar, trafik ışıkları ve trafik işaretleri gibi önemli trafik öğelerini belirleyebilir.
CV2 çipinin benzersiz performansını yansıtmak için Ambarella, rakip Nvidia'nın benzer ürünü olan Xavier'i bir karşılaştırma gösterimi için siteye götürdü.İki cihaz aynı ağ üzerinde eşdeğer performans ve doğrulukla çalışıyor, ancak CV2 sistem kartının toplam güç tüketimi Xavier sistem kartının dörtte birinden daha düşüktür.
Çipte görüntülenen bilgi işlem gücü rezervine ek olarak Ambarella, CES'te L4 seviyesinde otonom sürüş yapabilen bir kas olduğunu da gösterdi.Ambarella, yalnızca stadyum dışında görsel algı ile gerçekleştirilen otonom sürüş aracı olan Xinzhi'yi düzenler. Sürücü ayrıca bir test sürüşü yaptı. Otonom araç, Ambarella'nın düşük güçlü SoC çipi ile donatılmıştır, kamera ana sensör olarak kullanılır, milimetre dalga radarı yedeklilik olarak kullanılır, lidar kullanılmaz ve CES sırasında Las Vegas'ın kalabalık sokaklarında serbestçe hareket eder. .
Ambarella'nın sürücüsüz araçları önce Las Vegas sokaklarındaki haritaları topluyor ve sürüş sürecinde haritayı sürekli güncellemek için görsel öğeler kullanıyor. Ambarella'nın otonom araçlarında, ön ve arka koltuklardaki yolcular, çevredeki ortamı görüntülemek için bir ekrana sahiptir - Sınırlayıcı kutu, farklı engelleri çerçeveler ve farklı renk blokları mesafeyi temsil eder.
Araç trafik ışığını beklerken, sürücüsüz arabanın kamerası trafik ışığının durumunu doğru bir şekilde belirleyebilir ve araç, kameranın algısının sonuçlarına göre anında ilgili kararları ve planları yapar. Tüm test sürüşü süreci, herhangi bir devralma durumu olmaksızın yaklaşık 10 dakika sürdü ve sürüş süreci sorunsuzdu.
Broggi, Xinzhijia'ya şunları söyledi: "Bu L4 sürücüsüz arabada kullanılan ana yonga, sistem kontrol panosu, otomatik sürüş algoritması ve sistemin gerçek kurulumunun tümü Ambarella tarafından bağımsız olarak tamamlandı. Bu yarı iletken şirkette değil. Nadiren. Otonom sürüşün bu gösterimi, Ambarella Semiconductor'ın ilgili teknik alanlarda tam bir bilgi rezervine sahip olduğunu gösteriyor. "
sonuç olarak
GoPro'dan başlayarak, son yıllarda Ambarella'nın dönüşüm savaşı oldukça başarılı oldu ve güvenlik, otomobiller ve otonom sürüşte iyi sonuçlar elde etti. Ürün her yıl düzenli bir hızda güncellenir ve yinelenir.
2020'deki ADAS pazarı artan bir pazardır. Bu pazarda, yükselen oyuncular kadar yerleşik oyuncular da var. Ambarella'nın düşük güç tüketimi ve yüksek bilgi işlem gücü yoluyla başka bir ticari başarıyı nasıl geliştirebileceği de dört gözle beklenen bir şey.
