Otomatik sürüş sistemi araç kutusu ile çok hedefli izleme algoritması nasıl tasarlanır ve doğrulanır | Zorlu Açık Kurs Oluşturma
Lei Feng.com'un basını: 28 Haziran - 29 Haziran 2017 tarihleri arasında "Dördüncü Çin Akıllı Bağlantılı Araç Teknolojisi Yıllık Konferansı" (CICV 2017) Şangay'da düzenlenecek. Sektörün konferans konuları üzerine önceden düşünmesini ve tartışmasını tetiklemek için Leifeng.com Xinzhijia, açık sınıflar düzenlemek için Çin Otomotiv Mühendisleri Topluluğu ile işbirliği yaparak akıllı ağ bağlantılı otomotiv endüstrisindeki uzmanları ve uygulayıcıları ilgili sonuçları ve fikirleri paylaşmaya davet etti.
MathWorks, Otonom Sürüş Sistemi Araç Kutusu'nu (ADST) bu yıl piyasaya sürdü.Bu yeni araç kutusu tarafından sağlanan bir dizi tasarım ve doğrulama aracının yardımıyla, algı algoritmaları daha hızlı geliştirilebilir ve algoritmaların doğrulanması basitleştirilebilir.
Bu makalenin içeriği, Leifeng.com ve China Society of Automotive Engineering tarafından düzenlenen açık sınıfta MathWorks uygulama mühendisi Wang Hongjun tarafından yapılan bir paylaşımdır. Leifeng.com tarafından düzenlenmiş ve organize edilmiştir.
Bu genel sınıfın ana noktaları:
-
Otopilot Sistem Araç Kutusuna Giriş
-
Çok hedefli izleme prensibi
-
Otopilot sistemi araç kutusunu kullanarak çok hedefli bir izleme algoritması tasarlayın
-
Karşılaştırmalı doğruluk işareti araçlarını kullanarak hesaplama sonuçlarını analiz edin
-
Algoritmanın gerçek zamanlı doğrulama teknolojisi
Aktif güvenlik ve otonom sürüş sistemlerinin geliştirme sürecini gözden geçirelim.
Öncelikle bir sistem ihtiyacımız olacak. Ardından, algı algoritmasını ve kontrol algoritmasını sistem gereksinimlerine göre tasarlayacağız. Algılama algoritmaları arasında görüntü, radar, GPS ve bir dizi sensör edinimi, hedef algılama ve algılama algoritmaları bulunur. Kontrol algoritması temel olarak kontrol stratejisi ve kontrol yürütme bölümünü içerir.
Algoritma geliştirildikten sonra, sistemi entegre etmemiz, test etmemiz ve doğrulamamız, ardından kodu otomatik olarak oluşturmamız ve son olarak kod testini ve sistem son onay doğrulamasını gerçekleştirmemiz gerekir.
Sensör füzyonu ve çoklu hedef izleme algoritması aslında algılama algoritması ile kontrol algoritması arasındaki kısımdır Kontrol mühendisi için, kontrol için girdi bilgilerini elde etmek üzere algılanan sensör bilgilerini işlememiz gerekir. Bu bizim işimiz.
En son 2017A sürümünde MathWorks, otonom sürüş sistemleri için yeni bir araç kutusu piyasaya sürdü. Otonom sürüş ve aktif güvenlik sistemi tasarımıyla uğraşan mühendisler için otonom sürüş sistemlerinin ve aktif güvenlik sistemlerinin gelişimini hızlandırmak için bir dizi araç sağlamayı umuyor.
Esas olarak üç yönü içerir:
İlk olarak, gerçek değer etiketleri ve sahne oluşturma dahil olmak üzere test ve doğrulama araçları;
İkincisi, sensör birleştirme ve hedef izleme dahil algoritma geliştirme araçları ve görüş sistemi tasarım araçları;
Üçüncüsü, kuş bakışı görünüm araçları ve radar nokta bulutu araçları dahil olmak üzere görselleştirme araçları.
Hedef izleme prensibi
Hedef takibi nedir? Kontrol etmek için önce gerçek dünyadan belirli bilgileri toplamalı ve bilgiye dayalı kapalı döngü kontrolü gerçekleştirmeliyiz.
Gerçek dünyadan algılamak istiyoruz Algılama bileşenleri, radar, görüş, lidar vb. Gibi bir dizi sensör içerir. O halde, gerçek dünyayı algıya göre tahmin etmemiz gerekir.
Bu, tanıtacağımız hedef izleme ve diğer ilgili algoritmalar ve sensör füzyonudur.
Önce bazı kavramları tanıtın:
Gerçek değer, nesnenin gerçek hareketini ifade eder. Algılama, sensörler tarafından elde edilen sınıflandırma özelliklerini içeren bir dizi hedef listeyi ifade eder ve algılama genellikle bir zaman sırasına göre yapılır.
Örneğin, yukarıdaki şeklin sağ tarafındaki 6 anda, bir dizi hedef tespit ettik: kırmızı ve mavi araçları temsil eder ve yeşil yayalar. Elbette, tespit sırasında bazı problemler olabilir. Örneğin, siyah noktalar sınıflandıramadığımız hedeflerdir. Sarı noktalar sanal sahnelerdir, ancak gerçek tespit sırasında onları bilmiyoruz, bu yüzden onları da dikkate alıyoruz. Sınıflandırılmamış hedefler olarak sınıflandırıldı.
Aslında, T0 zamanından T2, T3, T4 ve T5 zamanına kadar, hedef tespit durumu hakkında bir dizi analiz yapıyoruz ve izleme algoritması aracılığıyla nesnenin gerçek hareketini tahmin ediyoruz.
T0'da mavi aracı ve yeşil yayayı başarıyla tespit ettik, ardından araç ve yaya takibi olarak kullanacağız. Ancak kırmızı aracı tespit etmedik, bu nedenle geçici izleme için iki gri nokta ekledik.
T1 zamanında kırmızı bir araç gözlemledik, bu yüzden şimdi gri izlerden birinin bir araç olduğunu onaylıyoruz, ancak diğer iz onaylanmıyor, bu yüzden onu siliyoruz.
T3'te yayaları gözlemlemedik, ancak öngörü ile tıkanmış yaya hedeflerini tahmin ettik ve onu izlemenin bir parçası olarak kullandık.
T4'te kırmızı ve mavi araçlar gözlem menzilini terk etti, bu yüzden ayrılacak hedef konumu da tahmin ettik.
Son olarak, kırmızı ve mavi araçlar gözlem menzilini terk etti ve yayalar da yolu geçti, bu nedenle bu üç nesnenin takibini tamamladık ve izleme listemizden izlemeyi sileceğiz.
Yukarıdaki giriş çok soyutsa, 2017A otopilot sistemi araç kutusunda bir ileri çarpışma uyarısı demosu sağladık. İzleyicinin nasıl çalıştığını görsel olarak anlamak için bu demoyu kullanabilirsiniz.
Videonun sağındaki kuşbakışı görünümünden, mavinin görsel hedef, kırmızının radar hedefi ve kare şeklinin takip ettiğimiz hedef olduğunu görebilirsiniz.
Aracı tespit edip ardından çarpışma olasılığı en yüksek olan hedefi MIO (En Önemli Hedef) olarak alacağız ve çarpışma önleme uyarı sistemi onu izleyecek ve bir uyarı verecektir.
Çok hedefli izleme algoritması
Şimdi gördüğümüz şey, önden çarpışma uyarı sistemi algoritmasının blok diyagramıdır.Sensör füzyonu ve Kalman filtrelemesi yapmak için radar hedefini ve görsel hedefi izleyicinin işini tamamlamak için kullanabiliriz.
Ardından, izlenen hedefler üzerinde tehdit değerlendirmesi yapacağız ve sonunda çarpışmadan kaçınma uyarısı için MIO alacağız. Erken uyarının sonucu, kontrol işlemi için AEB'ye (Otomatik Fren Sistemi) de girilebilir.
Radar hedefini görsel hedefle eşleştirmek için bilgisayar görüş araç kutusundaki maliyet matrisi yöntemini kullanabiliriz: eşleşen sonuca göre, eşleşen radar ve görsel hedef birleştirilir.
Bunu aşağıdaki işlevlerle başarabiliriz:
Gerçek izleme algoritması Kalman filtreleme yoluyla uygulanacaktır. Kalman filtresinin anlamı veya formülü bazı insanlara tanıdık gelebilir, önceki durum ve kovaryans yoluyla mevcut durumu tahmin etmek, mevcut ölçüm değeri üzerinden mevcut durumu güncellemek ve güncellenmiş durumu çıkarmaktır.
Kalman filtresi işlevi ayrıca bilgisayarla görme araç kutusunda sağlanır.
Gerçek çok hedefli izleme, bir Kalman filtresinden çok daha karmaşıktır, çünkü bahsettiğimiz sensör füzyonunun yanı sıra izleme başlatma, onaylama ve tahmin dahil olmak üzere çoklu hedef izleme yönetimini içerir.
Örneğin, az önce bahsedilen tanımlanmamış bazı hedefler olabilir, ancak bu hedefleri de izlememiz gerekiyor. Aynı zamanda, bazı hedefler tıkanacak ve tıkanan hedefleri tahmin etmemiz gerekiyor. Şimdi gördüğümüz şey, eksiksiz bir çok hedefli izleyicinin mantığı.
Yukarıdaki şekil, hedef tespit verilerinin içermesi gereken bilgiler ve hedef izleme verilerinin sağlayabileceği bilgidir.
Bu bilgiler, zaman ölçüm değerini, ölçüm gürültüsünü, sensör numarasını, hedef kimliğini, hedef özelliklerini vb. İçerir. Elde ettiğimiz son izleme verileri, izleme kimliği, zaman, yaş, durum, kovaryans, onay bayrağı, kapatma bayrağı, hedef kategori kimliği ve hedef özelliklerini içerir (yukarıdaki bilgilerle ilgili herhangi bir sorunuz varsa lütfen bize yardımcı olun. Dosyada daha ayrıntılı bir açıklama olacaktır).
Üç seviyeye ayrılmış çoklu hedef izleyicinin seviyelerini tanıtın.
Birincisi, en üst katman ile kullanıcı arasındaki etkileşimli arayüz.Ayrıca, birden fazla algılanan çoklu izlerin atanmasından, böyle bir eşleşmenin gerçekleştirilmesinden ve bir izleme listesinin korunmasından, yeni izlerin yaratılmasından veya silinmesinden sorumludur.
İkincisi, tek bir izleyici için, tek bir izleyici için çoklu algılama işlenecek, yani sensör füzyonu için algoritma tamamlanacaktır.Aynı zamanda, izleyicinin kimlik sınıflandırmasının ve diğer bilgilerin korunmasının yanı sıra tek bir izleyicinin onaylanmasından ve silinmesinden de sorumlu olacaktır.
Üçüncüsü, kullanıcı tanımlı bir filtre olan izleme filtresi, ölçüm tarafından oluşturulan filtre güncellemesini işlemekten ve filtrenin durumunu ve kovaryansını korumaktan sorumludur.
Doğrusal olmayan genişletilmiş Kalman filtrelemesi veya sınırsız Kalman filtrelemesi için, kullanıcının şu anda durum geçiş fonksiyonunu ve ölçüm fonksiyonunu tanımlaması gerekir, bu da kullanıcının hedef model analizine bağlıdır.
Örneğin, tek tip bir hız, tek tip ivme veya başka bir hareket durumu olsun, hedef hareket durumu.
Aynı zamanda, kullanıcının izlemeyi onaylama eşiği, tıkanan güncellemelerin sayısı, sensör sayısı ve maksimum izleme sayısı vb. Dahil olmak üzere izleyicinin diğer özelliklerini de yapılandırması gerekir.
Algılanan izlemenin dağıtımına ve sensörlerin birleşmesinin nasıl gerçekleştiğine kısa bir giriş.
Şekil 1, hedefin önceki andaki durumunu gösterir, Şekil 2 izleyicinin hedefin mevcut konumuna ilişkin tahminini gösterir ve Şekil 3, izleyicinin hedefin mevcut konumuna ilişkin tahminini gösterir ve tespit edilen bazı hedeflerin bilgilerini izlemeye atar. Amaç.
Örneğin, matris sürme yöntemi kullanılarak tahsis edilen radar ölçüm verileri ve görsel ölçüm verileri olabilir.
Son adım, mevcut hedef konumu elde etmek ve mevcut durumu güncellemek için sensör füzyon hesaplamaları yapmaktır.
Tahmin ve durum güncellemesini izlemek için üç filtreleme algoritması sunuyoruz: KF doğrusal Kalman filtresi, EKF genişletilmiş Kalman filtresi, UKU sınırsız Kalman filtresi.
Sırasıyla sabit hız hedefini, sabit hızlanma hedefini ve sabit dönüş hızı hedefini hedefleyen üç filtrenin başlatma fonksiyonlarını önceden ayarladık. Aynı zamanda kullanıcı, genellikle doğrusal olmayan filtreler için kullanılan özel bir filtre başlatma işlevi de ekleyebilir.
EKF ve UKF için, kullanıcının ayrıca hareket fonksiyonunu ve ölçüm fonksiyonunu tanımlaması gerekir. Benzer şekilde, tek tip hızlanma, tek tip hız ve tekdüze direksiyon hızı olmak üzere üç koşulu önceden belirledik. Diğer daha karmaşık durumlar için, kullanıcılar formüle göre özel modeller ekleyebilir.
Tek bir iz için, üç adıma bölünmüş bir yaşam döngüsü vardır.
İlk olarak, izlemenin başlatılması, ize asla atanmamış olan algılamadan yeni bir iz oluşturacağız, bu da yeni bir hedef tespit ettiğimiz anlamına gelir ve aynı zamanda filtreyi oluşturup başlatacağız.
İkincisi, izleme onaylanır ve izlemeyi her an tahsis edip tespit edeceğiz. İzlemeyi tespit edilen bilgilere göre düzeltiriz ve izleme ayrıca bir tahmin hesaplar Bu tipik bir Kalman filtre algoritmasıdır.
Üçüncüsü, izleme hedefi bir süre gözlemlenmezse, bir eşikten sonra izlemeyi silip silmeyeceğimizi, eşik aralığının dışında olup olmadığını veya hiçbir izleme gözlemlenmediğini belirleyeceğiz ve sonra sileceğiz.
Doğrusal olmayan filtreler için, ölçüm işlevini ve durum geçiş işlevini de düzenli olarak değiştiriyoruz.
Bu bir yaya izleme vakasıdır. Vakadan bir izlemenin yaşam döngüsünü açıkça görebiliriz: nasıl başlatıldığını ve onaylandığını, ne zaman kapatıldığını nasıl tahmin edeceğimizi ve en sonunda nasıl sileceğimizi.
Gerçek değer etiketleme aracı
Otomatik pilot sistemi araç kutusunda, gerçek değer etiketleme araçları gibi bir dizi algoritma doğrulama aracı da dahil olmak üzere birçok başka araç da sağlıyoruz.
Matlab2012B'nin 2012 sürümünden sonra, bir APP işlevi vardır: otopilot sistemi araç kutusunda sağladığımız gerçek değer etiketi uygulamalarını içeren bir dizi uygulama sağlanır.
Yukarıdaki sağdaki şekilde gösterildiği gibi, bu aracı bir videoya gerçek değer etiketleri eklemek için kullanabilir ve hedefi etiketler şeklinde kaydedebiliriz.Dikdörtgen veya düz hedefleri kullanabilirsiniz.
Sağdaki resimde kamyonları, arabaları, trafik işaretlerini, şerit çizgilerini vb. Gerçek değer etiketleriyle işaretledik.
Ortak anlayışa göre, gerçek değer etiketleri genellikle hedef tespit algoritmalarını eğitmek ve hedef tespit algoritmalarını değerlendirmek için kullanılır. Burada, algoritmaları doğrulamak, izlemek ve kontrol etmek için gerçek değer etiketi araçlarını da kullanabiliriz.
Videoyu gerçek değer etiketleri aracılığıyla işleyebilir, yapay olarak bazı görsel hedefler oluşturabilir, bunları laboratuvarda oluşturulan toplanan kayıtlar veya radar hedefleri aracılığıyla birleştirebilir ve tüm sistemin işlevleri üzerinde çok hedefli izleyici ve kontrol algoritmaları gerçekleştirebiliriz. Bir simülasyon işi.
Gerçek değer etiketi aracını kullanarak gerçek değer etiketleri eklemenin beş adımı vardır:
İlk önce videoyu yükleyin.
İkinci olarak, etiketin türünü tanımlayın. Örneğin araçlar ve şerit çizgileri gibi hedefler tanımlayabilir, hava durumu gibi global etiketler gibi ortamı tanımlayabiliriz.
Üçüncüsü, zaman eksenini sürükleyerek her kare için etiketler çizebilirsiniz.
Dördüncüsü, ara çerçevelerin doğrusal enterpolasyonu, KLT hedef takibi ve seçilen etiketleri kare kare çizebilen ACF araç algılama dahil olmak üzere bize etiket eklemek için bazı otomatik algoritmalar kullanabiliriz.
Beşinci olarak, nihai sonucu manuel olarak ince ayar yaparak alırız ve verileri bir dosyaya veya çalışma alanına aktarırız.
Algoritmaların gerçek zamanlı doğrulaması
Tasarım tamamlandıktan sonra algoritma doğrulaması gerekmektedir.Bazı gerçek araç testleri ile doğrulayabilir veya laboratuvarda simülasyon yoluyla laboratuvarda görsel doğrulama yapabiliriz.
Matlab'da sağlanan bazı veri içe aktarma programları ve bazı görselleştirme uygulamaları simülasyon sisteminin yapımı için kolaylık sağlar.
Örneğin, bu veri arayüzlerinin işletim işlevleri aracılığıyla excel çalışma sayfalarını, video dosyalarını ve CAN veri yolu verilerini içe aktarabiliriz ve ayrıca otomatik pilot sistemi araç kutusunda sağlanan işlevler aracılığıyla kuşbakışı görünümler ve radar nokta bulutları oluşturabiliriz.
Yukarıdaki resim tipik bir simülasyon ortamıdır. Üst kısım tüm sistemin mimarisi ve alt kısım simüle edilmiş donanım ekipmanıdır.Aracın ve ortamın modelini çalıştırmak için bir hedef makine kullanıyoruz ve ardından diğeri bir donanımı tamamlamak için algılama ve kontrol algoritmasını çalıştırıyor Yeniden döngü simülasyon çalışması.
Bu video sayesinde tüm algoritmalarımız otomatik olarak C dil kodu üretebilir.Üretilen kodu hedef bilgisayara indiririz ve ardından donanım yeniden döngü simülasyonunu kolayca tamamlayabiliriz.
Algoritmayı gerçek araçlarda test etmek için de vazgeçilmez bir bağlantıdır. Araç üstü sistemi çeşitli yol koşullarında gerçek araçlarda test edebiliriz.Bu sistem bir laptop veya gerçek zamanlı simülasyon bilgisayarı olabilir.
USB, CAN veriyolu, Ethernet vb. Üzerinden çeşitli sensörlere bağlayarak hedef takip ve kontrol algoritmalarımızı test edebiliriz.
MATLAB ve Simulink'in tüm sistemi tasarlama ve doğrulama sürecinde, algı algoritmalarını tasarlamak için MATLAB ve kontrol algoritmalarını tasarlamak için Simulink kullanımı dahil olmak üzere yazılım tasarımı ve donanım olanakları için ortak bir platform sağladığını görebiliriz. Otomatik olarak C dil kodu oluşturun ve sistemi doğrulamak için algoritmanın gerçek zamanlı simülasyonunu tamamlamak için Simulink Gerçek Zamanlı kullanın.
Leifeng.com'dan not: Bu konuk konuşmasının PPT'si ile ilgili olarak, lütfen Leifeng.com'un "Yeni Akıllı Sürücüsü" nü (herkese açık numara: AI-Drive) izleyin ve indirmek için arka planda "ADAS Mikro Sınıfı" na yanıt verin.
