İdeal otomobile ses teknolojisini sağladıktan sonra, Horizon çok modlu araç içi etkileşim seri üretim aşamasına girecek
Araba şeyler
Metin | Mora
Otomobil zekası seviyesinin iyileştirilmesiyle, insan-araç etkileşimi de önemli bir teklif haline geldi. Ancak günümüzde hızla popülerleşen ses etkileşimi ve jest etkileşimi gibi teknolojiler, otomobildeki etkileşimli deneyime niteliksel değişiklikler getirmemiş ve daha çok mevcut etkileşim yöntemlerinin tamamlayıcısı gibidir.
Peki insan-araç etkileşiminin gelecekteki gelişme yönü nerede? Bu bağlamda, bazı önde gelen yapay zeka ve otomotiv şirketlerinin verdiği cevap, çok modlu etkileşimdir.
Yani araç, ses, görüntü, konum, sıcaklık vb. Gibi çeşitli bilgilerin füzyon işlemesi yoluyla yolcuların bilgilerini daha aktif ve derinlemesine bir anlayışa sahiptir, böylece onlara aktif bir şekilde bakar, ilgili içeriği / hizmetleri iletir ve araç ayarlarını değiştirir.
Bu yıl Şangay Otomobil Fuarı'nda, Çin'de tanınmış bir yapay zeka çipi ve çözüm şirketi olan Horizon, otonom sürüş ürünlerine ek olarak ilk kez ses etkileşimi, araç içi görsel algı ve çok modlu dudak dili gibi çok modlu araç içi etkileşim çözümlerini sergiledi. Komut kelimeleri, çok modlu duygu tanıma ve çok modlu kimlik tanıma gibi bir dizi alt bölüm teknolojisi, otomotiv sektöründe ikinci savaş alanını açtı.
Sonraki CES Asia'da Horizon, aynı zamanda, ilk seri üretilen otomobili Ideal ONE'a çoklu ses bölgesi çözümü sağlamak için Ideal Motors ile bir işbirliği yaptığını duyurdu; bu, Horizon'un çok modlu araç içi interaktif çözümünün seri üretim aşamasına gireceği anlamına geliyor. Horizon'un otonom sürüş çözümleriyle birlikte, Horizon'un otomotiv endüstrisine girmesi için iki temel silah haline geldi.
Bu yıl CES Asya'da, Horizon çok modlu interaktif ürünler genel müdürü Zhang Hongzhi, Chedong.com'un ev sahipliği yaptığı akıllı kokpit forumunda bir konuşma yaptı ve algoritma araştırma ve geliştirme departmanı müdür yardımcısı Niu Jianwei ile birlikte Chedong.com ile özel bir röportajı kabul etti. Yerleşim, çok modlu araç içi etkileşim çözümünün teknik ayrıntıları ve çok modlu etkileşimin temel sorunlarını çözme şekli gibi temel konular açıklanmaktadır.
Zhang Hongzhi, Che Dong'un ev sahipliği yaptığı Akıllı Kokpit Forumunda konuştu
Bu özel röportaj sayesinde, Horizon'un sadece otomotiv alanındaki özel oyun ve geliştirme stratejisini görmekle kalmadık, aynı zamanda dış dünyaya, otomobildeki çok modlu etkileşimin sınır alanındaki temel teknik seviyesini de açığa çıkardık ki bu büyük önem taşıyor.
1. Ufuk stratejisinde yapay zekanın piyasaya sürülmesi, iki büyük işletme akıllı sürüşe geçiyor
Şangay Ulusal Uluslararası Kongre ve Sergi Merkezi'nde 16. Şangay Otomobil Fuarı, 4.'sü 16. ve 25. Yıllar arasında başladı.Birçok otomobil üreticisinin kabinleri arasında, ufuk kabini özellikle dikkat çekiciydi.
Tam bir araç şirketi olmasa da, Horizon açısından geleceğin kaderi derinden otomobil endüstrisine bağlı.
O gün düzenlenen basın toplantısında, Horizon kurucusu ve CEO'su Yu Kai, Horizon stratejisine ilişkin yapay zekayı dış dünyaya resmen duyurdu. Asıl olan, akıllı arabalar çağında temelde yatan yapay zeka teknolojisi sağlayıcısı olmak ve otomobil şirketlerine, Tier1 ve diğer ortaklara çip, yapay zeka sağlamak. Algoritmalar, araç zincirleri ve sahne SDK'ları gibi eksiksiz bir teknik destek seti, yapay zeka teknolojisine dayalı uygulamalar ve hizmetler oluşturmalarına yardımcı olur.
Yu Kai, Şangay Otomobil Şovu sırasında Ufuk stratejisinde yapay zekayı yayınladı
Horizonun ana işi, otomobiller ve AIoT gibi birçok alanda uygulanabilen uç yapay zeka yongalarına ve temel algoritmalara dayalı çözümlerin araştırılması ve geliştirilmesine odaklanıyor. Otomotiv alanı daha önce esas olarak otonom sürüş bilgi işlem platformlarına ve ilgili temel algoritmalara odaklanıyordu.
Bu yıl Şangay Otomobil Fuarı'nda, bir dizi otonom sürüşle ilgili ürün sergilemenin yanı sıra, Horizon aynı zamanda kendi geliştirdiği Journey 2.0 AI çip mimarisi ve çok modlu entegrasyona dayanan kendi geliştirdiği çok modlu araç içi etkileşimli çözümlerini ilk kez sergiledi. Algoritmalar ve diğer teknolojiler, gökyüzünün, dünyanın, insanların ve araçların fiziksel dünyasının dijital dünyaya bir modelini oluşturmak için görme, ses ve vücut sensörleri gibi çeşitli bilgileri kapsamlı bir şekilde işleyebilir.
Bu dijital modelleme, otomobil kullanıcıları için daha doğru, otomatikleştirilmiş ve insancıllaştırılmış hizmetleri ve tavsiyeleri teşvik edebilir ve vücut işlevleriyle derinlemesine bütünleşmiştir.Vücut işlevleri, mekanik fiziksel işlevlerden akıllı hizmetlere dönüşen akıllı yeteneklerle tamamen donatılmıştır Özellikleri.
Bu, otonom sürüş işine ek olarak, Horizon aynı zamanda otomotiv işinin ikinci savaş alanını açmak olarak kabul edilebilecek insan-araç etkileşiminin geleceğini temsil eden çok modlu araç içi etkileşim işine daha fazla önem verdiği anlamına geliyor. Araba ile doğu arasındaki bu diyaloğun baş kahramanları Zhang Hongzhi ve Niu Jianwei, araç içi etkileşimin iş ve teknik liderleridir.
İlginç bir ayrıntı, Şangay Otomobil Fuarı'ndan bu yana Horizon, araç içi etkileşim teknolojisini duyururken çok modlu araç içi etkileşime odaklandı ve Zhang Hongzhi'nin Başlığı da önceki "Horizon Telematik Bölümü" nden değişti. "Genel Müdür", "Çok Modlu Etkileşimli Ürünler Genel Müdürü" oldu.
Horizon'un otomobildeki çok modlu interaktif teknolojiye yaptığı vurgu ortada.
O halde önemli bir soru şudur: Horizon'un çok modlu etkileşim çözümünün otomobildeki etkileşimli deneyimi iyileştirmeye yardımcı olması için hangi özel işlevleri vardır? Zhang Hongzhi ve Niu Jianwei'nin her biri bir örnek verdi.
İlki, dudak dili + sesin çok modlu etkileşimli teknolojisidir.
Önceki sesli etkileşim teknolojisi, lastik gürültüsü, rüzgar gürültüsü ve diğer insanların konuşmaları gibi seslerden etkilenir ve gözden kaçan ve yanlış işitme sorunlarına neden olmak kolaydır. Bu çok modlu etkileşimli teknoloji ile araç, toplanan seslerle etkileşime girebilir ve Yolcunun dudak dilinin kapsamlı bir şekilde işlenmesi, hangi yolcunun konuştuğunu ve içeriğini belirler.
İkincisi, sürücü yorgunluğunun izlenmesi ve sınıflandırılmasıdır.
Araçların sürücü ve yolcuların durumunu daha aktif bir şekilde anlamasını sağlamak için, sürücü veya yolcu izleme sistemleri kademeli olarak seri üretime ve yüklemeye başlamıştır ve önemli uygulama senaryolarından biri de sürücü yorgunluğu izleme ve sınıflandırmadır.
Horizon'un araç içi çok modlu etkileşimli teknoloji ekranı
Bu amaca ulaşmak için, sürücünün yorulup yorulmadığını anlamak için sürücünün görüşü, gözleri, ifadesi, baş yönü, esnemesi, içme suyu ve diğer bilgiler gibi çeşitli bilgiler entegre edilecek ve işlenecektir. Yorgunluk derecesi.
Ayrıca Niu Jianwei, geleceğin çok modlu interaktif çözüm teknolojisinin araç içi bilgilerin işbirliğine dayalı bir şekilde birleştirilmesini gerçekleştireceğini söyledi.Örneğin, araç içi sensörler sürücünün durumunu algılar ve harici sensörler mevcut hava durumunu, sıcaklığı, araziyi ve diğer bilgileri anlayabilir ve bunları kullanıcılara kapsamlı bir şekilde tavsiye edebilir. İlgili müzik ve araç sıcaklığı vb.
2. Sözleşmeyi imzalamak için ideal olan otomobildeki çok modlu interaktif teknoloji seri üretim aşamasına girmiştir
Horizon, Shanghai Auto Show'daki lansmanından sonra, CES Asia'da, yeni otomobil şirketi Ideal Auto'nun ilk üretim otomobili olan Ideal ONE'a araçta çok hoparlörlü sesli etkileşim çözümü sağlayacağını duyurdu.
Yani, dört yerleşik mikrofon ve Horizon tarafından geliştirilen ses kaynağı konumu, kör kaynak ayırma ve gürültü azaltma algoritmaları sayesinde, farklı yolcuların sesli komutları doğru bir şekilde ayırt edilebilir ve tanınabilir ve böylece ideal arabanın daha akıllı bir ses etkileşim deneyimi elde etmesine yardımcı olur.
Horizon, Ideal ONE için araç içi çoklu ses bölgesi çözümü sunar
Bu çoklu ses bölgesi çözümü yalnızca tek modlu etkileşimli bir teknoloji olmasına rağmen, aslında Horizon otomobilindeki çok modlu etkileşimli çözüm teknolojisinin bir alt bölüm teknolojisidir.
Bu işbirliği sadece Horizon'un araç içi etkileşim teknolojisinin Ideal Car gibi tanınmış yeni bir otomobil şirketi tarafından tanındığını göstermekle kalmıyor, aynı zamanda araç içi çok modlu etkileşim teknolojisinin resmi olarak seri üretim aşamasına girdiğini gösteriyor.
Zhang Hongzhi'ye göre Ideal ONE yıl sonunda teslim edilecek ve daha erken teslim edilecek ve Horizon otomobilinde interaktif teknolojinin üretimi için önemli bir ortak.
Son birkaç yıldaki ticari genişleme sürecinde, otonom sürüş ve AIoT gibi alanlarda işbirliği temelinde, araç içi çok modlu etkileşim teknolojisi, birçok yerli ve yabancı Katman 1 ve otomobil şirketi ile ve ayrıca araç içi akıllı ekipmanlarla birlikte iş birliğine ulaştı. Halihazırda toplamda düzinelerce ortak var ve gelecekte Horizon ile birlikte daha fazla araca monteli çok modlu etkileşimli teknoloji çözümü piyasaya sürülecek.
Horizon ve Shouqi araç çağırma stratejik bir işbirliğine ulaştı
Önceki makalede bahsedildiği gibi, çoklu ses bölgesi çözümü, Horizon araca monteli çok modlu interaktif teknolojinin yalnızca bir alt bölüm teknolojisidir.Peki Horizon araca monteli çok modlu interaktif teknoloji bir bütün olarak ne tür ürünler ve teknolojiler sağlayabilir?
Zhang Hongzhi, Che Dongfang'a genel olarak dört iş alanına ayrıldığını söyledi:
1. AI çip yetenekleri
Bu, Horizon'un en temel işidir. Müşteriler, Horizon'un ikinci nesil AI chip Journey 2.0'a dayalı olarak ses ve görüntü AI uygulamalarını veya ses ve görüntü (çok modlu etkileşim) gibi çok modlu füzyon işlemeye yönelik AI uygulamalarını ayrı ayrı oluşturabilirler. .
2. Algoritma yeteneği
Ufuk arabası görsel AI algoritması
AI çipine dayanan Horizon ekibi, görüntü ve ses alanlarında en düşük seviyeli AI algoritmalarını da geliştirdi.Örneğin, yukarıda bahsedilen dört ses bölgeli çözüm, çevrimdışı uyandırma, sürücü izleme, ifade tanıma ve diğer teknolojiler ayrı ayrı veya paketler halinde çıkarılabilir. Ortaklar - örneğin, Ideal ONE dört sesli bölge çözümüyle donatılmıştır.
3. Paketlenmiş çok modlu etkileşimli çözümler
Makalenin başında belirtildiği gibi, araç içi etkileşim teknolojisinin geleceği çok modlu etkileşim seviyesinde yatıyor.Uygulama ve hizmet yeniliğine odaklanan otomobil şirketleri ve temel rekabet gücü olarak son derece entegre olan Tier1 için seçenekler arasında çipler ve ses var. Görüntü algoritmasını içeren paketleme şeması, modelin seri üretim süresini ve yenilik yineleme hızını hızlandırmanın çok uygun bir yoludur.
Horizon, otomobilde yazılım ve donanımla entegre çok modlu etkileşimli bir çözüm sağlayabilir
4. Alet zincirini açın
Yapay zeka çağının gelişini daha iyi ve daha hızlı karşılamak için Horizon, yazılım ve donanımı ve sahne odaklı yapay zeka çözümlerini birleştirme deneyimini araç zinciri aracılığıyla endüstri ve müşterilerle paylaşacak.
Bu büyük otomobil şirketleri ve güçlü yapay zeka araştırma ve geliştirme yeteneklerine sahip Tier1 şirketler için, kendi çok modlu interaktif ürünlerini sıfırdan oluşturabilirler.Bu amaçla, Horizon, Horizon'a dayalı algoritmaların geliştirilmesini kolaylaştırmak için zengin bir araç zinciri sağlar. Teknoloji ve ürünler. Bu, Horizon'un AI on Horizon stratejisinin temel düzenlemesidir ve sektördeki müşterilerle deneyim ve yetenekleri güçlendirmeye ve paylaşmaya tamamen açık.
Elektronik ürünlerden farklı olarak, otomobildeki ilgili yazılım ve donanım teknolojilerinin araç düzeyinde katı gereksinimleri vardır.Peki, Horizon'un çok modlu etkileşimli teknoloji çözümü, yazılım ve donanım açısından araç yönetmeliklerinin gereksinimlerini karşılıyor mu?
Zhang Hongzhi, çok modlu etkileşimli teknolojisinde kullanılan Horizon Journey 2.0 AI çipinin araç seviyesi gereksinimleri için tasarlandığını söyledi. Horizon'un planına göre, gelecekteki L3 seviyesi otonom sürüş çağında, çok modlu interaktif sistemi ASIL B seviyesi fonksiyonel güvenlik standartlarını karşılayacak.
Horizon tarafından sergilenen sürücü izleme teknolojisi
Otomobil yönetmeliklerine uymanın yanı sıra, otomobilde teknik olarak başarmanın bir diğer zorluğu, maliyetin insanlara yeterince yakın olmasıdır.
Bu bağlamda Zhang Hongzhi, paketlenmiş çok modlu interaktif çözümünün şu anki maliyetinin yüzlerce dolar olduğunu, yani artık daha pahalı olan yüzlerce RMB olduğunu açıkladı. Ancak büyük ölçekli seri üretim ile hızla popülerleşebilecek onlarca dolar düzeyine inecektir.
"Horizon, başından beri kabul edilebilir maliyetli ürünler üretti. Örneğin, çiplerimiz yüksek performans, düşük güç tüketimi ve maliyet performansını vurguluyor. Aynı zamanda, yazılım ve donanım entegrasyon yetenekleri sağlamaya odaklanıyorlar ve iş ortaklarına başarmak için alet zincirleri sağlıyorlar. Açık güçlendirme, bunlar teknolojinin uygarlaşmasını gerçekleştirmek için anahtar yeteneklerdir. "Zhang Hongzhi sözlerini tamamladı.
Üç, uzun vadeli birikim, bağımsız araştırma ve geliştirme, çok modlu etkileşim entegrasyonu sorununun üstesinden gelmek için üç yöntem
Önceden, ses etkileşimi veya hareket etkileşimi, AI algoritmalarının belirli bir ses veya görüntü modunu işlemesine ve ardından geri bildirim sonuçları vermesine izin veriyordu. Çok modalite, AI sisteminin geri bildirim vermek için ses, görüntü ve hatta koku ve dokunma gibi daha fazla yöntemi entegre edebileceği anlamına gelir.
Bu aşamada, çok modlu etkileşimi sağlamanın iki teknik yolu vardır, kabaca konuşmak gerekirse, sonuç füzyonu ve temelde yatan veri füzyonu.
Sonuç füzyon türü, sistemin önce ses, görüntü ve diğer modaliteleri ayrı ayrı işlediği ve her modalın işleme sonuçlarını aldığı ve ardından kapsamlı bir değerlendirme için tüm sonuçları özetlediği anlamına gelir.
Temel veri birleştirme türü, elde edilen ses, görüntü ve diğer farklı modal bilgileri doğrudan işlemek için bir "süper algoritma" kullanmak ve ardından yargı sonucunu vermektir.
Birincisinin uygulanması nispeten basittir, ancak ek bir adımla işlem hızı daha yavaştır ve modaliteler arasındaki bilgi kapsamlı bir şekilde işlenmez ve daha derinlemesine işlem sonuçları elde etmek zordur.
İkincisi, ilkinin eksikliklerinin üstesinden gelse de, çoğu derin öğrenme modeli yalnızca ses veya görüntü gibi tek bir model bilgisini işlemek için kullanılabildiğinden, teknoloji araştırma ve geliştirmenin zorluğu büyük ölçüde artmıştır.
Öyleyse, çipler alanına ve temeldeki AI algoritmalarına odaklanan tanınmış bir şirket olarak Horizon ne tür bir teknolojik yol izliyor?
"Elbette temelde yatan veri füzyon modelidir." Niu Jianwei, "Veri işleme seviyesinde çok modlu etkileşim elde etmek sadece bir algoritma problemi değil, aynı zamanda sensörleri, çipleri ve yazılımı içeren sistemik bir problemdir." Dedi.
Tanıtımına göre, Horizon çok modlu etkileşim teknolojisi ekibi Horizonnun yonga birikimine, görsel yapay zekaya ve sesli yapay zeka teknolojisine dayanıyor. Bir yıldan uzun bir süre sonra, üç önemli numara aracılığıyla, altta bir dizi veri füzyonu işleme geliştirdi. En yaygın ses (ses) ve video (görüntü) füzyon işleme teknolojisini ayrıntılı olarak tanıttı.
1. Sensörü yeniden tasarlayın
Mevcut kamera ve mikrofon tarafından girilen video kare hızı 30 karedir ve ses kare hızı 100 karedir Zaman senkronizasyonu tamamlanamaz, yani sonraki füzyon işlemi gerçekleştirilemez.
Bu sorunu çözmek için, kameranın video kare hızını artırmak, birden fazla ses ve video girişi gerçekleştirmek ve ayrıca daha büyük bir bant genişliğine ve verimli bir sıkıştırma modeline sahip olmaktır.
2. Bilgi işlem çipini yükseltin ve optimize edin
Çok modlu işlemenin, daha yüksek bir kare hızıyla birden fazla ses ve video sinyalini işlemesi gerektiğinden ve uygunluk için özellikleri çıkarmak için özel bir sinir ağı katmanı kullanıldığından, hesaplama miktarı, basit ses işleme için bir büyüklük sırasındaki bir artışa eşdeğerdir. Onlarca GOPS'tan yüzlerce GOPS'a.
Bu nedenle, Horizon çok modlu etkileşim ekibi aynı zamanda Horizonun yolculuk çipini arabadaki çok modlu interaktif uygulamaya daha iyi uyum sağlamak için optimize etti ve geliştirdi.
Niu Jianwei'ye göre Horizon'un Journey 2.0 AI çipi, çok modlu etkileşimli algoritmaların bilgi işlem gücü gereksinimlerini tam olarak karşılayabilen çok yüksek bir AI eşdeğeri bilgi işlem gücüne sahiptir.
3. Özel kodlama algoritması kapsamlı işlemeyi gerçekleştirir
Mevcut sinir ağları yalnızca aynı tür bilgileri işlemek için kullanılabilir, bu nedenle ses ve videoyu entegre edemezler.
Horizon, uygun donanımla, buna dayalı bir dizi çok modlu etkileşimli algoritma geliştirmiştir, yani, önce ses ve video bilgilerini aynı tür sinyale ayrı ayrı kodlamak için bir kodlayıcı kullanın ve ardından bunu yüksek bir sinyalle eşleyin. Boyutsal uzay, böylece aynı sinir ağında işlenebilir.
"Çok modlu araç içi etkileşim teknolojisinin gelişimi, Horizon'un önceki AI çipleri, ses işleme, görüntü işleme vb. Birikimlerinden ayrılamaz." Zhang Hongzhi sonunda vurguladı, "Yalnızca AI çipi, ses işleme, görüntü işleme Ancak her bir alt bölüm teknolojisi cilalandığında, farklı modsal verilerin füzyon işlemi gerçekleştirilebilir. "
Horizon Amerikan Ar-Ge Merkezi
Tanıtımına göre, Horizon şu anda toplamda 1.000'den fazla resmi çalışana sahip, bunların dört ila beş yüz tanesi AI çipleri ve temelde yatan AI algoritmaları üzerinde çalışıyor.Akıllı sürüşün uygulama yönünde, ilgili işleri yapan yüzlerce ekip var. Geri sayım, otomotiv alanında teknoloji için çalışan yüzlerce kişiye eşdeğer ve ölçek oldukça büyük.
Sonuç: Çok modlu etkileşimli teknolojinin gerçek bir tedarikçisi
Zhang Hongzhi ve Niu Jianwei ile iletişim kurduktan sonra Che Dong, Horizon'un çok modlu etkileşimli teknolojinin gerçek ve güçlü bir tedarikçisi olduğu konusunda çok bariz bir izlenime sahip ve bu da üç açıdan yansıtılıyor:
İlk olarak, Horizonnun yapay zeka yongaları, ses işleme, görüntü işleme vb. Konularındaki yıllara dayanan birikimine dayanarak, yüzden fazla kişiden oluşan bir ekip, bir yıldan uzun bir süre içinde çok modlu etkileşimin temel sorunlarını aşmış ve ses ve görüntü gibi farklı modal bilgilerin entegrasyonunu gerçekleştirmiştir. Temelde yatan füzyon işleme.
İkincisi, arabadaki farklı sürüş sahneleri için, çok modlu araç içi etkileşim çözümünü bölüm gürültüsü azaltma ve alma, hareket tanıma ve izleme, ifade tanıma, multimodal dudak dili komut kelimeleri, multimodal duygu tanıma vb. Birden çok tipik segmentasyon senaryosu, otomobil şirketlerinin talep üzerine seçmesi için uygundur.
Üçüncüsü, çok modlu araç içi interaktif çözümün Nisan ayında sergilenmesinden kısa bir süre sonra Horizon, seri üretim ve lansman gerçekleştirmek için Ideal Auto ve diğer şirketlerle hızlı bir şekilde işbirliğine gitti ve teknik gücünün belirli bir seviyeye ulaştığını ve ortaklar tarafından kabul edildiğini gösterdi. .
Ideal ONE projesinin aşamalı olarak uygulanmasıyla, gelecekte Horizon çok modlu araç içi etkileşimli çözümlerle donatılmış daha fazla model piyasaya sürülecek ve bu da Horizon'un daha fazla yeni arabanın akıllı yükseltilmesi ve dönüştürülmesi için yapay zeka gücü sağlamasına izin verecek.
Çok uzak olmayan bir gelecekte, L3 ve üstü otonom sürüş teknolojisinin kademeli olarak uygulanmasıyla, Horizonnun çok modlu araç içi etkileşimli çözümleri de kademeli olarak otonom sürüş sistemiyle entegre olacak ve sadece insanların araç kullanmasına yardımcı olmakla kalmayacak, aracı gerçek bir robot haline getirecek. , Ama aynı zamanda bir arkadaş gibi, birçok yönden yolculara değer veriyor ve sıcak bir seyahat deneyimi yaşıyor.
