CVPR 2019 Baidu insansız aracı, dünyanın ilk derin öğrenme tabanlı lazer nokta bulutu kendi kendine konumlandırma teknolojisini gerçekleştirdi
Baidu IDG'den birkaç araştırmacı ve mühendis, dünyanın ilk derin öğrenme tabanlı lazer nokta bulutu kendi kendine konumlandırma teknolojisini gerçekleştirdi.Geleneksel yapay olarak tasarlanmış karmaşık algoritmalardan farklı olarak, sistem ilk kez derinliğe dayanıyor. Öğrenme ağı, yüksek hassasiyetli santimetre düzeyinde kendi kendine konumlandırma efektleri elde etti ve önemli teknolojik atılımlar gerçekleştirdi. Sistemin ilgili teknik belgeleri, bu yıl Haziran ayında ABD Los Angeles Long Beach'te düzenlenen CVPR 2019'a dahil edildi.
Yapay zekanın en "temel" yönlerinden biri olan otonom sürüş, akademi ve endüstride büyük ilgi gördü. Otonom sürüşün gerçekleştirilmesi, yalnızca otomotiv ürünleri biçiminde köklü değişiklikler getirmekle kalmayacak, geleneksel otomotiv teknolojisi sistemini ve endüstriyel yapıyı bozmayacak, aynı zamanda tüketici seyahat ve yaşam tarzı, bilgi teknolojisi ve iletişim yöntemleri ile bilgi ve ulaşım altyapısındaki değişiklikleri de tetikleyecektir. Ancak, yüksek getiri ile orantılı olan, gerçekleştirmenin zorluğudur. Tam otonom sürüş sistemi, Yerelleştirme, AD Haritası, Algılama, Karar ve Planlama ve Kontrol gibi modülleri içerir.
Yüksek hassasiyetli kendi kendine konumlandırma, otonom sürüşü gerçekleştirmek için gerekli teknolojilerden biridir Mevcut ana akım L4 ve L5 seviyesi kendi kendine sürüş arabaları, yüksek hassasiyet, yüksek güvenilirlik ve güçlü sahne uyarlanabilirliğine sahip bir dizi kendi kendine konumlandırma sistemine büyük ölçüde güveniyor. Bu sistem, otomatik sürüş sistemi için yüksek hassasiyetli santimetre seviyesinde konumlandırma yetenekleri sağlar.Otomatik sürüş haritası ile insansız araç, ortamdaki konumuna göre haritada önceden depolanan çevresel bilgileri okuyabilir. Buradaki veriler, trafik ışıkları, yaya geçitleri, şerit çizgileri, yol sınırları, park alanları vb. Dahil olmak üzere çeşitli insansız araçların gerektirdiği çevresel bilgileri içerir. Bu bilgilerle, insansız araçlar, son derece hassas bir çevrimiçi ortam elde etme ihtiyacını akıllıca ortadan kaldırır. Bilgi algılama sisteminin zorluğu, insansız araçların teknik zorluğunu büyük ölçüde azaltarak imkansız hale getiriyor.
Aynı zamanda, insansız araçların temel modüllerinden biri olarak, konumlandırma sistemi bir kez sorun yaşadığında, insansız araçların yana doğru ilerlemesi ve yol omzuna çarpması gibi feci kazalara neden olacaktır. Bu makalede, Baidu'nun teknik uzmanları, santimetre düzeyinde konumlandırma doğruluğuna ulaşan ve aynı zamanda çevresel değişikliklere daha iyi uyum sağlama becerisine sahip yeni bir derin öğrenme tabanlı lazer nokta bulutu kendi kendine konumlandırma teknolojisi seti önerdi.
Bağlantı: https://songshiyu01.github.io/pdf/L3Net_W.Lu_Y.Zhou_S.Song_CVPR2019.pdf
Özet: Baidu, geleneksel konumlandırma yöntemlerini parçalara ayıran ve geleneksel bağlantıların ve adımların yerine derin öğrenme ağlarını kullanan öğrenmeye dayalı bir nokta bulutu konumlandırma teknolojisi önerdi. Bu çözüm, doğrudan lazer nokta bulutu üzerinde hareket eden bir derin öğrenme ağı kullanarak otonom sürüşün kendi kendine konumlanma sorununu çözen sektördeki ilk çözümdür.
Algoritmanın etkinliğini doğrulamak için Baidu, Apollo platformunda toplam yaklaşık 380 km'lik bir veri seti açmayı planlıyor. Veri seti, şehir içi yolları, parktaki iç yolları ve otoyolları kapsayan üç alt harita, eğitim ve test alt kümesi içeriyor. Sahne, harita ve test seti arasındaki maksimum süre bir yıla kadardır. Bu veri setinde Baidu, algoritmasının geleneksel yöntemlere göre avantajlarını doğruladı. Şu anda, bu araştırma makalesi bilgisayarla görme alanındaki en büyük konferans olan CVPR 2019'a dahil edilmiştir.
Giriş
Hepimizin bildiği gibi derin öğrenme teknolojisi, son yıllarda çeşitli yapay zeka alanlarında dikkat çekici sonuçlar elde etti.İnsan Go şampiyonu satranç oyuncularını mağlup eden AlphaGo, yapay zeka teknolojisi atılımlarının gücünü derinden hissettirdi. Bununla birlikte, derin öğrenmenin şu anda iyi çözebileceği sorunların, insan deneyimine dayalı olarak anlaşılması, analiz edilmesi ve yargılanması gereken sorunlara odaklandığını da bulduk. Örneğin, bilgisayarla görme alanında derin öğrenme, görüntü bölütleme, görüntü sınıflandırma ve nesne algılama gibi sorunların çözümünde çok iyi sonuçlar elde etmiştir. Bununla birlikte, ölçüm aralığı ve 3B yeniden yapılandırma ile ilgili geometrik problemler gibi bir başka önemli sorun kategorisi için, bireysel çalışmalarda bir miktar ilerleme kaydedilmesine rağmen, genel olarak, derin öğrenme ilgili alanlarda henüz kesin bir atılım yapmamıştır. İnsansız araçların kendi kendine konumlanma problemi, bu tip problemin tipik bir temsilcisidir.Şu anda, üniversitelerden endüstri devlerine kadar, çeşitli oyuncuların insansız araçlarının kendi kendini konumlandırma teknolojisi, derin öğrenme teknolojisini başarılı bir şekilde uygulamamıştır. Bununla birlikte, tarihsel deneyimler bize, öğrenmeye dayalı teknoloji belirli bir yapay zeka problemi alanını çözmede bir atılım yaptığında, bu teknolojik evrimin selinin genellikle durdurulamaz bir trendle çeşitli performans göstergelerinde geleneksel yapay tasarımı aşacağını söylüyor. Algoritma yeni endüstri teknik standardı haline geldi.
Otonom sürüşün temel modülü olarak konumlandırma, her zaman sıcak bir araştırma konusu olmuştur. Mevcut geleneksel lazer nokta bulutu konumlandırma teknolojisi, özellik çıkarma, özellik eşleştirme ve zamanlama optimizasyonu gibi modülleri içeren Şekil 1'in üst kısmında gösterilmektedir. Algoritmanın tamamı Giriş, gerçek zamanlı çevrimiçi lazer nokta bulutu, konum haritası ve eylemsizlik sensöründen ilk tahmin edilen konumu ve duruşu içerir ve nihai çıktı, konum algoritmasının optimizasyonundan sonraki duruş sonucudur. Genel plan fikri ve insanların yolu tanıma şekli aslında oldukça benzerdir.Genellikle kendi konumumuzu değerlendirmek için tipik dönüm noktası binaları kullanırız. Aradaki fark, insansız araçların otonom sürüş haritasından gerekli bilgileri doğru bir şekilde çıkarabilmesini sağlamak için insansız araçların konumlandırma sonuçlarının santimetre düzeyinde konum doğruluğu ve alt açı düzeyinde tutum doğruluğu gerektirmesidir. Yukarıda bahsedilen çözümler mevcut en iyi konumlandırma etkisini elde etmesine rağmen, bu tür yapay olarak tasarlanmış algoritmalar, özellik çıkarma ve eşleştirme gerçekleştirilirken çevresel değişikliklere karşı çok hassastır. Sürekli değişen bir ortamda, çevresel değişikliklerin ciddiyetine bağlı olarak kendi konumunun yüksek hassasiyetli ve yüksek sağlamlıkta tahminini elde etmek için çevredeki değişmeyen bilgileri (örneğin, yer işaretleri, sokak işaretleri vb.) Akıllıca yakalamak imkansızdır. Uygulamanın konum haritasını sık sık güncellemesi gerekiyor, bu da maliyeti artıracaktır.
Baidu tarafından önerilen şema, Şekil 1'in alt kısmında gösterilmektedir. Her bir işlemi geleneksel yöntemde dönüştürmek için farklı ağ yapıları türlerini kullanarak, derin öğrenme teknolojisine dayalı, çığır açan bir insansız araç lazer kendi kendine konumlandırma teknolojisini gerçekleştirmiştir: L3 -Ağ.
Şekil 1 Geleneksel yöntem ile L3-Net teknik işleminin karşılaştırılması L3-Net, özellik çıkarma elde etmek için PointNet ağını, özellik eşleştirme ve optimizasyon için 3D CNNs ağını ve son olarak zamanlama yumuşatmasını tamamlamak için RNNs ağını kullanır.
Makalenin içeriğine göre, Baidu tarafından önerilen teknik çözümün ileri niteliği aşağıdaki hususlarda yoğunlaşmıştır:
Aracın konumunu ve duruşunu doğru bir şekilde tahmin edebilen ve santimetre düzeyinde doğruluğa ulaşan, derin öğrenmeye dayalı endüstrinin ilk kendi kendine sürüş kendi kendine konumlandırma teknolojisi çözümünü önerdi.
Geleneksel lazer nokta bulutu konumlandırmanın teknik sürecini sökmek ve değiştirmek için farklı ağ yapılarını kullanın ve bunları birleşik eğitim için seri olarak bağlayın, böylece ağ, çevrimiçi lazer nokta bulutu konumlandırma görevini uçtan uca bir şekilde tamamlayabilir.
Şehir yolları, park yolları ve otoyollar gibi karmaşık sahneleri içeren 380 km uzunluğundaki genel veri kümeleri, benzer algoritmaların test edilmesi için piyasaya sürülecek ve bu da Baidu Apollo açık platformunun açık içeriğini daha da zenginleştirecek.
yöntem
Baidu tarafından önerilen derin öğrenmeye dayalı lazer konumlandırma sistemi, önceden belirlenmiş bir lazer nokta bulutu konumlandırma haritası, çevrimiçi lazer nokta bulutu ve girdi olarak atalet sensöründen tahmin edilen poz gerektirir. Önceden oluşturulmuş lazer nokta bulutu konum haritası, çevrimdışı haritalama algoritması aracılığıyla birden çok kez toplanan aynı alandaki nokta bulutu verilerinin birleştirilmesi ve dinamik özelliklerin kaldırılması için nokta bulutu tanıma algoritmasının kullanılmasıyla elde edilir. Çevrimiçi nokta bulutu, sürüş sırasında otonom araca takılan lidar ekipmanı tarafından toplanır ve tahmin edilen poz, önceki çerçeve konumlandırma sonucunun yanı sıra eylemsizlik sensörü veya araç hareket modeli tarafından tahmin edilen artımlı harekete dayalı olarak yinelemeli olarak belirlenir. Genel olarak, bu konumlandırma çerçevesi, çevrimiçi nokta bulutu ile harita arasındaki eşleşme mesafesini en aza indirir ve konumlandırma sonucunu elde etmek için tahmin edilen pozu optimize eder. Genel olarak konuşursak, insansız araçlar, üç koordinat ekseninde (x, y, z) ve üç koordinat ekseninde öteleme (x, y, sixz) dahil olmak üzere altı serbestlik derecesini vermek için konumlandırma modülüne ihtiyaç duyar. Dönüş (eğim açısı, yuvarlanma açısı ve yön açısı), ancak eylemsizlik sensörleri genellikle göreceli olarak doğru eğim ve yuvarlanma açısı bilgisi sağlayabildiğinden ve (x, y) tahmini doğru olduğunda, yükseklik z genellikle haritadan elde edilebilir. Bu nedenle, mevcut ana akım kendi kendine konumlandırma sistemi tasarımında, genellikle yalnızca 2B yatay öteleme (x, y) ve yön açısı tahmin edilir ve L3-Net de benzer bir tasarım benimser.
Şekil 2 Baidu tarafından önerilen öğrenme tabanlı lazer kendinden konumlandırmalı ağ mimarisi L3-Net. Ağ, iki aşamada eğitilmiştir. Eğitimin ilk aşaması, anahtar nokta seçimi, özellik çıkarma ve 3D CNN'lere dayalı özellik eşleştirme dahil olmak üzere yalnızca siyah ok bölümünü içerir; eğitimin ikinci aşaması, camgöbeği ok bölümünü ve bu eğitim aşaması içerir Zamanlama yumuşatma için RNNs ağı içerir.
Özellikle Baidu'nun L3-Net algoritma akışı Şekil 2'de gösterilmektedir. Her bir çevrimiçi nokta bulutu çerçevesi için, bir dizi kilit nokta bulmak ve onlardan özellik tanımlayıcıları çıkarmak için kilit noktaları merkezde olan yerel nokta bulutu blokları toplamak gerekir. Kilit noktaların çıkarılması hem yerel hem de küresel geometrik yapı ilişkilerini dikkate almalıdır. L3-Net, bazı aday noktaları bulmak için önce nokta bulutunun yoğunluğunu kullanır. Daha sonra her aday nokta için, doğrusallığını ve saçılma olasılığını tahmin etmek için klasik nokta bulutu 3B yapı özellikleri kullanılır ve son olarak, aday noktalar arasındaki mesafe ve yapısal özellikleri kapsamlı bir şekilde dikkate alınarak kilit noktalar seçilir. Her bir kilit nokta için bu yöntem, nokta bulutu bilgilerini kendi yerel alanında toplar ve ardından mini PointNet ağ yapısı aracılığıyla özellik tanımlayıcısını alır. Bunların arasında PointNet, 2017'de CVPR'de yer alan düzensiz nokta bulutları üzerinde doğrudan hareket eden bir derin öğrenme ağı yapısıdır. Burada kullanılan mini-PointNet, L3-Net'in Multi-Layer Perceptron (MLP) ve Aynı zamanda düzensiz nokta bulutları üzerinde doğrudan hareket eden bir ağ yapısını yüksek hassasiyetli lazer nokta bulutu konumlandırma / eşleştirme görevlerine uygulamaya yönelik ilk girişim olan bir Max-Pooling katmanından oluşur.
Kilit noktaların özellik tanımlayıcılarını elde ettikten sonra, yatay konum ve yön açısı üzerindeki tahmini poz ve gerçek değerin sapmasını çözmeye eşdeğer olan 2B yatay konum (x, y) ve yön açısı sonuçlarını çözmek gerekir. Vardiya. Bu soruna yanıt olarak, L3-Net, tahmin edilen pozda ortalanmış (x, y, yaw) üç boyutlu durum uzayını ayırmak için bir arama yöntemi kullanır ve bir küme oluşturmak için belirli bir aralıktaki konumlandırma durumlarını alır. Çevrimiçi nokta bulutundaki önemli bir nokta için, maliyet hacmi, kümedeki her konumlandırma durumunda çevrimiçi nokta bulutu ve harita arasındaki eşleştirme etkisi hesaplanarak elde edilebilir. Ardından, maliyet hacmini düzenlemek için 3D CNN'leri kullanın Bu, aykırı değerleri bastırmak ve eşleştirme etkisini iyileştirmek içindir. Düzenlemeden sonra, L3-Net tüm kilit noktaların maliyet hacimlerini toplar ve softmax katmanı boyunca (x, y, yaw) konumlandırma alanının olasılık hacmini elde eder ve ardından tahmin eder (x, y, yaw) Konumlandırma sonuçları.
Her çerçeve için nokta bulutu konumlandırma sonuçlarını aldıktan sonra, L3-Net, aracın hareket modelini LSTM ağı üzerinden modeller ve konumlandırma sonuçlarını iyileştirmek için konumlandırmanın zamanlama ilişkisini kullanır.Deneyler, daha pürüzsüz ve daha doğru bir konumlandırma sonucunun elde edildiğini göstermektedir.
Şekil 3 Derin öğrenmeye dayalı L3-Net lazer nokta bulutu konumlandırma sisteminin diğer sistemlerle karşılaştırılması.
Şekil 4 Her aşamada L3-Net konumlandırma ağı çıktısının görselleştirme etkileri. Maliyet Hacmi sütunundaki her sütun, bir kilit noktanın eşleşmesini temsil eder, her satır bir başlık açısı durumunu temsil eder ve her resim yatay konumun maliyet dağılımını temsil eder. Tüm kilit noktaların maliyet hacimlerini birleştirdikten sonra, eşleşen yanıtın önemli ölçüde geliştirildiğini görebilirsiniz. Nihai tahmini konumlandırma sonuçları (0,538 m, 0,993 m, 1,001 derece) ve bunların veri setindeki ilgili gerçek konumlandırma değerleri (0,524 m, 0,994 m, 1,044 derece) en sağdaki sütunda görüntülenir.
sonuç olarak
Otonom sürüşte kendi kendine konumlandırma sorununu hedefleyen Baidu, derin öğrenmeye dayalı bir dizi lazer nokta bulutu kendi kendine konumlandırma algoritması önerdi. Baidu, geleneksel yöntemdeki işlevsel modülleri değiştirmek için farklı ağ yapıları kullanır ve algoritmanın, birden çok sahne ve yol koşullarını içeren bir veri kümesi üzerindeki etkisini ve santimetre düzeyinde konumlandırma doğruluğu sağlayarak geniş ölçekli bir zaman aralığını doğrular. Veri seti, şehir içi yollar, park yolları ve otoyollar gibi çeşitli zorlu yol koşullarını içerir.Verilerin toplam kilometresi 380 km'dir ve yakında Baidu Apollo platformunda açılacaktır.
