Düşük maliyetli bir otonom sürüş çözümü oluşturmak için bilgisayar görüşü nasıl kullanılır | Zorlu Açık Ders Oluşturma
Editörün notu: Bu makalenin içeriği, Tucson İnternet Teknolojisinin baş bilim adamı Wang Naiyan'ın, Leifeng.com altında "Yeni Akıllı Sürüş" sütunu tarafından düzenlenen Leifeng.com'un zorlu açık sınıfındaki paylaşımından geliyor.
Bu genel sınıfın temel noktaları:
1. Otonom sürüş senaryolarında kullanılan özel bilgisayarla görme teknolojisi;
2. Düşük maliyetli otonom sürüş çözümleri oluşturmak için bilgisayar görüşü nasıl kullanılır.
Bilgisayar görüşü dünyayı nasıl "görür"
İnsansız sürüş teknolojisi zinciri çok uzundur ve temelde üç aşamaya ayrılmıştır: algılama, karar verme ve kontrol. İnsansız sürüşün algılanma aşamasında bilgisayarla görme teknolojisi, beş uygulama senaryosu ve teknolojisi dahil olmak üzere kişisel olarak özetliyorum.
İlk olarak, olay yerinde derinlik bilgisi elde etmek için bir dürbün görüş sistemi kullanın. Sonraki imaj anlamsal anlayışımızda bize yardımcı olabilir ve insansız sürüşte sürülebilir alanları keşfetmemize ve engelleri hedeflememize yardımcı olabilir.
Yukarıdaki iki resim, binoküler görüntüleme sistemindeki sol göz ve sağ göze karşılık gelir Resmin alt kısmı, sol göz ve sağ gözün görüntülerine dayalı olarak tahmin edilen bir derinlik bilgisi parçasıdır.
Binoküler görüntüleme sistemini ucuz ama o kadar da doğru olmayan bir lidar olarak düşünebiliriz. İşlevi, lidar tarafından elde edilen 3B nokta bulutu verilerine çok benzeyen, çevreleyen sahnenin her pikselinin derinlik bilgisini elde etmektir. İkili amacın avantajı, maliyetin çok ucuz olmasıdır, ancak dezavantajı da açıktır.Algılama mesafesi, lidar kadar uzak olmayabilir; ikincisi, hesaplama gücü ve ikincisi, daha yüksek hesaplama gücü gereksinimleridir.
İkinci olarak, her pikselin yönünü ve hızını tahmin etmek için bir video kullanın. Aşağıdaki şekil bir örnektir:
Şekilde gösterildiği gibi, bir kişi tenis oynuyor.Bu, iki resim karesinin birbirine bağlanmasıyla yapılan bir hareket tahminidir.Parlaklık, hareketin yoğunluğunu ve renk, farklı hareket yönlerini temsil eder.
Böyle bir hareket tahmini görevi, insansız sürüşte, her şeyden önce, daha sonra bahsettiğimiz konumlandırma ile yakından ilgili olan kendi hareketini tahmin etmemize daha iyi yardımcı olabilir. Ek olarak, onu çevreleyen sahnedeki diğer ilgili nesnelerin hareket yönünü tahmin etmek için de kullanabiliriz, bu sonraki karar verme modülü ve yol planlama modülü için çok anlamlıdır.
Ayrıca, tarihsel hareket yörüngesine dayalı olarak belirli bir ilgi nesnesinin sonraki hareket yönünü ve yörüngesini de tahmin edebiliriz Bu çok önemli bir noktadır ve sık sık yoldaki hareket eden nesneler için söz ederiz. Yörüngesini elde etme niyetinin tahmini.
Üçüncüsü, nesnelerin tespiti ve takibi. İnsansız sürüşte, çoğunlukla çeşitli araçlar, yayalar ve motorsuz araçlar vardır. Bu tanıdık bir uygulama olabilir.Böyle bir problemde, birden fazla ayara bölünmüştür.Örneğin, 2D'deki algılamaya en aşinayız, ancak 3D sınırlayıcı kutunun temsiline de dikkat ediyoruz.
Yukarıdaki şekilde, üst kısım 2D incelemedir ve alt kısım 3D incelemedir. 2B algılamanın yalnızca düz dikdörtgen bir çerçeve çizmesi ve çerçevelemesi gerekir. Ancak 3B algılamada, sonraki yörünge tahmini ve niyet analizi için çok önemli olan X, Y, Z konumu, uzunluk, genişlik, yükseklik ve yön dahil olmak üzere her nesnenin merkez noktasının konumunu rapor etmemiz gerekir.
Bu derin öğrenme tabanlı nesne algılama yöntemi şu anda en iyi ve en yaygın yöntemdir. Geleneksel algoritmalar için, kaçırılan algılama oranını ve nesne algılamanın yanlış algılama oranını büyük ölçüde azaltır.
Örneğin aşağıdaki şekilde çok kalabalık bir ortamda derin öğrenme algoritmasının olay yerindeki yayaları doğru bir şekilde tespit edebildiğini görebiliriz.
Dördüncüsü, tüm sahnenin anlaşılması için en önemli iki tane var: Birincisi yol çizgisi algılama ve ikincisi yol çizgisi algılama altında daha ileri gitmek. Sahnedeki her pikselin etiketlenmesi gerekiyor. Buna sahne bölümleme veya sahne denir. Çözmek.
Yol çizgisi tespiti aslında nispeten kolay bir iştir.Son on yılda birçok çalışma yapılmıştır ve çoğu normal koşullarda elde edilen sonuçlar oldukça iyidir. Sahne segmentasyonu ve sahne analizi nispeten yeni kavramlardır.
Yukarıdaki görselde, sahnenin tamamındaki her pikseli etiketledik. Örneğin, koyu mor kaldırım, pembe kaldırım, kırmızı yayalar ve yeşil ağaçlardır. Her bir pikselin etiket haritasına sahip olursak, elde ettiği anlamsal bilgilere dayanarak engellerden kaçınma ve yol planlama gibi karar verme modülleri için çok değerli bir girdi ve referans oluşturabiliriz.
Sahne bölümleme, aslında algılama görevinde çevreleyen ortamın daha iyi anlaşılmasıdır. Örneğin, hedef tespiti görevinde, sadece yoldaki hareketli nesneleri önemseyebiliriz. Bununla birlikte, sahne bölümlemesinde, sadece yayaları, araçları ve motorsuz araçları segmentlere ayırmakla kalmıyor, aynı zamanda arka plandaki statik engelleri de algılıyoruz.
Beşincisi, senkronize harita oluşturma ve konumlandırma teknolojisi, yani SLAM (Eşzamanlı Yerelleştirme ve Haritalama) teknolojisidir. Bu, robotik alanındaki en eski araştırmadır.Burada esas olarak vizyona dayalı sensörden, yani kameranın SLAM teknolojisinden bahsediyoruz:
Kameranın ve çeşitli diğer ucuz sensörlerin birleşmesi yoluyla, kendi konumunu hassas bir şekilde konumlandırmak için çeşitli sensörler tarafından sağlanan konum bilgilerini kullanırken, çevredeki ortamın bir haritasını aşamalı olarak oluşturmak mümkündür.
Örneğin, insansız sürüşün konumlandırma için çok yüksek gereksinimleri vardır ve desimetre düzeyinde konumlandırmaya ulaşması gerekir. Sadece ivme sensörleri, GPS vb. Kullanırsak, elde edilen doğruluk yeterli olmaktan uzaktır. Ancak görsel sensörler, görsel haritalar ve bu hızlanma sensörleri ile GPS'in birleşmesi sayesinde çok doğru bir konumlandırma efekti elde edebiliriz.
Yukarıdaki resim SLAM'ın kendi yörüngesinin, mavi bir yörüngenin ve bir 3B nokta bulutu haritasının çizimidir. Çevrimdışı olarak daha doğru bir 3B harita oluşturursak, yalnızca diğer sensör doğrulamaları ile desteklenen görsel kalibrasyona (Görsel dönüm noktası) dayanmamız gerekir, insansız araç konumunun doğru bir tahminini alabiliriz, bu insansız alandaki SLAM teknolojisidir. Sürüşteki rolü ve durumu.
İnsansız sürüşte bilgisayarla görmenin mevcut uygulamasının iki zorluğu vardır.
İlk zorluk, doğruluk ve güvenilirliğin beklentilerimizi karşılayamaması olabilir, ancak son yıllarda derin öğrenmenin hızla gelişmesiyle bu alandaki zorluklar tek tek aşılacak;
İkinci zorluk, çok ciddi ve yaygın problemler olan aşırı pozlama ve yetersiz pozlama gibi sensörün kendisinden kaynaklanmaktadır. Bu sorunu çözmenin yolu sensör füzyonundan geçer; bu, görüş sensörü arızalandığında, güvenliğini sağlamak için çevredeki ortamı algılamak için milimetre dalga radarı ve hatta lidar dahil olmak üzere diğer sensörleri birleştirdiğimiz anlamına gelir.
Ticari araçlardan başlayarak
Çoğu otonom sürüş şirketinin aksine, büyük yolcu araçlarına, özellikle büyük lojistik şirketlerine hizmet veriyoruz. Ticari bir lojistik otomasyon çözümü geliştirmek için yapay zeka ve bilgisayarla görme teknolojisini kullanmayı umuyoruz: sınırlı yol koşullarında, sürücülerin iş yükünü azaltabilir, lojistik şirketi işletme maliyetlerini ve büyük araç kaza oranlarını azaltabilir ve nakliye araçlarını artırabilir. Güvenlik.
Şu anda, otonom sürüş için üç ana yön vardır:
-
Tesla ve büyük geleneksel otomobil şirketleri tarafından temsil edilen küçük binek araçlar;
-
Özel araçlar: belirli fabrikalarda ve parklarda sabit rotalar ve kargo taşıma araçları;
-
Büyük ticari araçlar: Otto gibi şirketler;
Ticari araçların yönüne karar vermeden önce çok fazla araştırma yaptık ve nihai sonuç şu: Otonom sürüş teknolojisi için ticari araçlar en katı şekilde ihtiyaç duyulanlardır:
1. Şirketler maliyeti dikkate alacak
Uzun mesafeli taşımacılıkta, özellikle 800 kilometrenin üzerinde, zamanın sağlanması için bir arabada yaklaşık 2 ila 3 sürücü olacaktır. Sınırlı koşullar altında insan gücünü bir veya iki oranında azaltmak için otomatik sürüş kullanırsak, bu lojistik şirketlerine insan gücü maliyetlerinden% 50 tasarruf sağlayabilir;
Kendi kendine giden araçlar tüm rotayı daha iyi planlayabilir ve sıradan sürücülerden daha iyi sürüş alışkanlıklarına sahip olabilir, bu da araç yakıt tüketimini büyük ölçüde azaltır ve yakıt tüketimini% 5-% 7 oranında azaltır, bu da lojistik şirketleri için daha caziptir. .
2. Aracın güvenliğini artırın
Özellikle Çin ortamında, büyük yük taşıtlarının birçok güvenlik kazası vardır ve kazaların çoğu meydana geldikten sonra ölümcüldür. Büyük ölçekli araç kazalarının iki ana nedeni vardır: biri aşırı yükleme, diğeri ise yorgun sürüş. Aşırı yüklemeyi kontrol edemiyoruz, ancak yorgun sürüş açısından, sürücünün iş basıncını destekli sürüş ve otomatik sürüş teknolojisi ile azaltabiliriz;
Lojistik araçlar için depolarının çoğu otoyollara yakın, sadece sürücünün araçları otoyolda manuel olarak sürmesine izin vermemiz gerekebilir. Otoyoldan çıkmadan önce sürücüye doğru sürüşü devralmasını hatırlatıyoruz. Otonom sürüş teknolojisi, otoyolların nispeten kapalı, sabit ve deterministik bölümleri gibi uzun mesafeli taşımacılığın çoğu bölümünde yüksek derecede otonom sürüş sağlayabilir. Bu durumda sürücü uygun bir şekilde dinlenebilir ve aracın güvenliğini artırabilir.
Basitçe söylemek gerekirse, rota nispeten sabittir, çevre daha kontrol edilebilir ve ticari araçlar daha maliyete duyarlıdır. Bu noktaları birleştirdiğimizde, görsel teknolojiyle rol oynayabileceğimiz yer burasıdır.
Düşük maliyetli otonom sürüş çözümleri oluşturun
Sürücüsüz sistemde maliyet nispeten düşük olduğu için dürbün kamera kullanıyoruz.
Bununla birlikte, gerçek üretimde dürbünle ilgili sorun, dürbün sistemindeki iki kameranın doğru bir şekilde kalibre edilmesinin gerekmesidir.Donanım mekanik yapısının dengesizliği nedeniyle, nispeten küçük çarpma ve sarsıntılar, araç seyahat ederken iki kamerayı etkileyecektir. Dış parametrelerin neden olduğu rahatsızlık. Bu nedenle, dürbünün deneysel bir ortamdan gerçek üretime geçmesi için büyük bir zorluk olan, nispeten güvenilir bir kendi kendine kalibrasyon elde etmeliyiz.
Yaklaşımımız, sürüş işlemi sırasında sabit bir frekansta binoküler harici parametreleri sürekli olarak değiştirecek, nispeten güvenilir bir binoküler kendi kendine kalibrasyon algoritması geliştirmektir. İnsansız sürüşte benimsediğimiz çözüme bilgisayar görüşü hakimdir ve daha sonra milimetre dalga radarı, GPS, IMU ve diğer sensör çözümleri gibi diğer sensörler tarafından desteklenir.
Maliyetleri düşürmede en kritik nokta, güvenliği sağlamak için algoritmaların avantajlarının nasıl kullanılacağıdır ki bu iki nokta içerir:
İlk olarak, görüntü sensörleri arasında farklı görevler ve algoritmalar arasında çapraz doğrulama yapın. Hiçbir algoritmanın% 100 güvenilir olmadığını ve herhangi bir algoritmanın başarısız olabileceğini biliyoruz. Bununla birlikte, aynı anda birden fazla algoritma arasında çapraz doğrulama yaparsak, güvenlik büyük bir gelişme gösterecektir.
Örneğin, Teslanın bir süre önce yaptığı ölümcül kaza, büyük beyaz bir kamyon dönerken Mobileyenin görsel algılama çipi kamyonu algılamadı, bu da ilk sensör arızasıydı. Ancak, bu zamanda yolun sürülebilir alanını bölersek, Tesla'nın beyaz nesneyi kesinlikle sürülebilir bir yol olarak görmeyeceğini ve büyük bir kamyona seyir hızında doğrudan çarpmayacağını hayal edin.
Bu, bahsettiğimiz birden çok görev arasındaki çapraz doğrulamadır.
İkincisi, birden fazla sensör arasındaki çapraz doğrulama, temel olarak görsel denetim sensörünün çıkışı ile milimetre dalga radarı arasındaki çapraz doğrulamadır.
Dolayısıyla, maliyetleri düşürmenin anahtarı, güvenliği feda ettiğimiz anlamına gelmez. Azaltmanın anahtarı, tek bir algoritmanın performans sınırını artırmak ve birden çok algoritmanın sonuçlarını çapraz doğrulamaktır.
Harika Soru-Cevap
Soru: Makine görmesinin ışık ve dinamikler için yüksek gereksinimleri vardır. Bilgisayarlar daha iyi hesaplama hızına ihtiyaç duyar. Bildiğim kadarıyla, en temel ADAS sistemlerinin bile doğruluğu çok düşük. Mobileye çipleri dışında diğerleri henüz olgun değil. Birçok yanlış alarm ve yanlış alarm durumu vardır İnsansız sürüşün güvenliği nasıl sağlanır?
Cevap: Bu aslında, geleneksel görme algoritmaları olan önceki nesil bilgisayar algoritmalarına dayanmaktadır. Derin öğrenmeyi kullandıktan sonra, sonuçlar büyük ölçüde iyileştirilecektir Mevcut test sonuçlarımıza dayanarak, en azından inceleme görevleri için, bilgisayar görüşü, özellikle ADAS gibi ürünler için ürünün ihtiyaçlarını tam olarak karşılayabilir.
Yonga seçimine gelince, Mobileye kendi özel yongalarına sahiptir, ancak bu derin öğrenme algoritması için NVIDIA'nın yerleşik GPU'su gibi platformları da değerlendirebiliriz. ADAS sistemimiz NVIDIA TX1 çipine dayanmaktadır ve otonom sürüş platformu NVIDIA Drive PX2 ve sonraki Drive PX platformlarına dayanacaktır. Böyle bir destekle çok güzel sonuçlar elde edebiliriz.
Soru: Otonom sürüş teknolojisindeki mevcut atılımın Tesla, Toyota gibi park alanından veya Google ve Baidu gibi bilgisayar algoritması şirketlerinden kopma olasılığı daha mı yüksek?
Cevap: Aslında, tek başına herhangi bir açıdan, otomobil üreticilerinin veya bilgisayar vizyonu şirketlerinin atılımlar gerçekleştirmesi pek olası değildir.Otomotiv endüstrisi çok uzun bir endüstriyel zincirdir.Araba üreticileri, aracın kendisi gibi alt seviyeyi kontrol etmeyi tercih ederken, üst seviye ise Algoritma şirketi kontrol etti. Aslında, bu iki parçanın hiçbirine izin verilmiyor.
Otonom sürüş teknolojisi binek araçlarda gerçekten ticarileştirilebiliyorsa, ikisi çok iyi bir işbirliğine dayalı ilişkiye sahip olmalı, şu anda bu tür ittifaklar da gördük. Yakın gelecekte binek otomobil pazarının yukarı ve aşağı endüstriyel zincirlerinin daha iyi bir entegrasyonunun olacağına inanıyorum.
Not: Bu konuyla ilgileniyorsanız ve daha derin bir anlayışa sahip olmak istiyorsanız, lütfen aşağıdaki QR kodunu tarayın.
