Bu Çinli girişim, Ulusal Gün ve Dünya Kupası HD canlı yayınlarına katılmak için milyar piksellik bir kamera dizisi geliştirdi
CES'in 2020'de sona ermesinden sonra, bir dizi yerli ve yabancı medya art arda "RayShaper" (RayShaper) adlı Çinli bir şirket hakkında haber yaptı ve CES'te RayShaper Bee adlı akıllı bir kamera sergiledi. CNBC, CNN, Bloomberg, CCTV2 de dahil olmak üzere birçok ülkedeki yetkili medya, buna çok dikkat etti ve ayrıca IEEE Spectrum tarafından CES2020'nin en iyi on yeni icatından (gadget) biri olarak seçildi.
Peki, Rayshaper Bee'nin yeniliği nedir?
Serbestçe birleştirilebilen bir dizi kamera dizisidir Serbest bir şekilde birleştirilemeyen diğer kamera dizilerinin aksine, Rayshaper Bee arkasındaki bir dizi akıllı kamera sistemine güvenir ve farklı kameralar tarafından yakalanan bilgileri, algoritmalar aracılığıyla gerçek zamanlı olarak dizide entegre eder. Eşi görülmemiş bir ultra yüksek çözünürlük elde eder.Gerçek zamanlı konfigürasyon, kontrol ve algoritmaların bilgi füzyonu sayesinde, ultra geniş dinamik aralıklı çekim, sürükleyici deneyim, 3B modelleme, serbest görüntüleme açısı, akıllı video kişiselleştirilmiş düzenleme vb. Yaratıcı ve yaratıcı akıllı fonksiyonlar.
Resim | (Soldan sağa) Boyan Teknoloji CEO'su, IEEE Üyesi, Tsinghua Üniversitesi'nden Profesör Wen Jiangtao, dünyaca ünlü fizikçi Profesör Joel Mesot, ETH Zürih Dekanı, İsviçre, dünyaca ünlü sinyal işleme uzmanı, IEEE Fellow, Lozan, İsviçre Polytechnic Institute Dekanı Profesör Martin Vetterli, Platinum Rock CTO'su, IEEE Üyesi, JPEG Standartlar Organizasyonu Başkanı, Lozan Teknoloji Enstitüsü'nden Profesör Touradj Ebrahimi, İsviçre (Kaynak: Platinum Rock Technology)
Serbestçe birleştirilebilen akıllı kamera sistemi
Halkın dikkatini çeken bu kamera dizisi bal peteği şeklindedir. Tek bir kamera düzlemi altıgendir ve farklı sayıda ve farklı kamera konfigürasyonları birleştirilerek bir kamera dizisi oluşturulabilir. Bu kamera dizisi, kamera dizisinin büyük verilerini, video kare hızında gerçek zamanlı olarak profesyonel uygulamaları karşılayabilen ultra yüksek çözünürlüklü videoya birleştirmek için akıllı algoritmalar kullanır ve benzeri görülmemiş bir görsel deneyim sağlayan birden çok sunum formunu ve birden çok akıllı işlevi destekler ve Uygulama etkisi.
RayShaper'ın resmi web sitesine göre, bu kamera sistemi, en gelişmiş tek lensli kamera sisteminden iki kat daha yüksek olan bir milyar piksele eşdeğer bir çözünürlük sağlayabilir. Yabancı medyaya verdiği röportajda RayShaper, sistemin bulanık ve odak dışı nesneleri net, yüksek çözünürlüklü görüntülere dönüştürebileceğini söyledi.
Yukarıdaki videodan da görülebileceği gibi, RayShaper Bee, sıradan kameralardan daha uzun mesafelerde daha büyük dinamik aralık ve daha yüksek çözünürlüklü görüntüler çekebilir.
RayShaper Bee'nin "büyük sahneleri, küçük ayrıntıları" yakalamadaki mükemmel performansı, gelecekte atletizm ve saha yarışmaları gibi büyük sahnelerin dinamik çekimi ve vahşi yaşam izleme ve diğer güvenlik izleme gibi kayak gibi birçok uygulamada öne çıkabileceği anlamına da gelir. Sahneler, otonom sürüş ADAS için bile kullanılabilir.
Bahsetmemiz gereken şey, Rayshaper Bee'nin serbestçe birleştirilebilen özellikleridir. Ücretsiz kombinasyona dayalı olarak, gelecekte, farklı gerçek sahne gereksinimlerine göre uygun şekilde özelleştirilebilir ve uyarlanabilir ve mermi süresi, bileşik göz görüşü ve yüksek çözünürlüklü görüş gibi görsel deneyim ve uygulamalar elde etmek için nispeten düşük maliyetli ve daha esnek olabilir.
Sıradan kameralar tarafından kullanılan geleneksel optik görüntüleme teknolojisi, çoğunlukla monoküler görüş ilkesine dayanmaktadır. RayShaper daha çok bir bileşik göz görüntüleme teknolojisi gibidir.Böcek gözlerine benzer bir biyonik yapı kullanır ve monoküler görüntüleme deneyimiyle tutarlı ve ultra yüksek çözünürlüğe sahip bir resim sunmak için sihirli bir bileşik göz algoritması aracılığıyla çoklu monoküler lensleri organik olarak birleştirir. , Geniş, uzak ve net çekim elde etmek.
Şekil | RayShaper Bee (Kaynak: IEEE Specturm)
RayShaper CEO'su Wen Jiangtao medyaya verdiği röportajda, "Özellikle bazı video çekimlerinde, genel çekim yöntemi ilginç çekimler yapmak için esas olarak kameramanın sezgisine dayanır, ancak bu genellikle bazı harika anları kaçırır." Dedi. Birleşik bir kamera dizisi ve algoritması kullanan büyük bir 8k olayı, birçok 4k veya HD videoyu akıllıca düzenleyebilir.
Görsel bilgi işlemenin temel mimarisinde devrim yaratın
"Bir zorluk, Moore Yasasının sonunun artık modern uygulamaların giderek artan yüksek çözünürlük gereksinimlerini karşılayamamasıdır. Diğer yandan, bilgisayar görüşü çok fazla veri gerektirse de, mevcut verilerin çoğu makine öğrenimi için değildir." Wen Jiangtao, "Bu nedenle, makinelerde kullanılan kameraların, fotonları doğrudan bilgisayarla görme görevlerine dönüştürebilen yeni bir görüntü sensörüne ihtiyacı var." Dedi.
Kamera çözünürlüğünden ve işlemcinin kendisinin darboğazından bağımsız olarak, geleneksel hesaplama vizyonu esas olarak sensörlerin ve işlem yongalarının kombinasyonuna dayanır. Bu "duyum" ve "bilgi" ayrımı, yalnızca hesaplamalı görmenin yüksek enerji tüketimine değil, aynı zamanda yüksek enerji tüketimine neden olur. Gecikme ayrıca birçok uygulama düzeyinde engeli de beraberinde getirir.
Şu anda, işlemciyi tek taraflı olarak yükseltmek sorunu esasen çözmez. Geçmişte, görüntülerin anlaşılması piksellerde kaldı ve videoların anlaşılması çerçevelerde kaldı. RayShaper, "duyu" ve "bilgiyi" entegre etmek için yeni bir görsel bilgi ifadesi biçimi kullanabilen biyolojik vizyona dayalı başka bir öncü fikir düşündü. Daha verimli yeni bir mimari, kaliteyi, enerji tüketimini ve maliyeti dikkate alırken görsel bilgiler sunar.
Şekil | "Duyum" ve "bilgi" nin ayrılması ve "duyu" ile "bilginin" birleşimi (Kaynak: RayShaper)
RayShaper, VPU konseptini önerdi, VPU'nun genel olarak insanlara Video İşleme Birimi'ni hatırlattığı belirtilmelidir ama burada aslında bir video işleme birimi değil, görsel bir algılama birimi olan Görsel Algılama Birimi'dir. İlke bakış açısından, bu biyolojik görmenin işleme yöntemiyle daha uyumlu görünmektedir.
VPU, foton bilgisini yerel olarak doğrudan işleyebilen çok sayıda işleme elemanından oluşur Şu anda, tamamlanması için çok sayıda çip gerektiren görevler tek bir VPU tarafından gerçekleştirilebilir. Sonuç olarak, güç tüketimi, gecikme ve yonga alanı performansı kesinlikle mevcut yongalardan çok daha yüksek olacaktır.
Yabancı basında çıkan haberlere göre, RayShaper Bee'nin fiyatı hala dalgalı ... Şu anda üç veya dört kameralı bir dizinin fiyatı yaklaşık 50.000 $. Wen Jiangtao, "Bu dizi profesyonel kameralar ve sensörler kullanabilir ve çalışma ortamı, lensler ve aksesuarlar için profesyonel düzeydeki uygulamaları destekleyebilir. Bireysel tüketiciler için ayrıca tüketici düzeyinde kamera yapılandırmalarımız da var." Dedi.
Resim | Boyan Teknoloji CEO'su Wen Jiangtao, RayShaper Bee'yi CNN muhabirleriyle tanıştırdı (Kaynak: Boyan Technology)
RayShaper, 2017 yılında kuruldu ve ekibe CEO olarak Tsinghua Üniversitesi'nden Profesör Wen Jiangtao başkanlık ediyor. Doktorasını 1996 yılında Tsinghua Üniversitesi'nde aldıktan sonra, on yıldan fazla bir süredir Amerika Birleşik Devletleri'nde multimedya iletişimi ve ağ araştırması ve standart formülasyon ile uğraşmaktadır. Daha sonra Bilgisayar Bilimleri ve Teknolojisi Bölümü'nde profesör olarak mezun olduğu okuluna döndü. Birçok uluslararası akademik kuruluşta çalışmış ve bir IEEE bursiyeridir. Düzinelerce uluslararası patenti ve geniş kapsamlı etkisi olan bir dizi araştırma sonucuna sahiptir.
İsviçre EPFL'den Profesör Touradj Ebrahimi, başkan ve CTO olarak görev yapmaktadır. Touradj Ebrahimi, bir IEEE Üyesi olan JPEG'in (Joint Photographic Experts Group) düzenleyicisidir ve multimedya sinyal işleme, görüntü ve video işleme konusunda derin deneyime sahiptir.
Tsinghua Üniversitesi Araştırma Enstitüsü'nden Profesör Han Yuxing COO olarak görev yaptı. 2011'de UCLA'dan mezun olduktan sonra, Profesör Han Qualcomm, Cisco ve ETH Zürih Disney Araştırma Merkezi'nde çalıştı. Görüntü ve veri aktarımı konusunda güçlü bir teknik geçmişe sahip.
Şekil | Geçtiğimiz Ağustos ayında RayShaper, önemli uluslararası etkinliklerde 5G + 8K teknolojisinin ilk tanıtım uygulamasının gerçekleştirilmesine katıldı (Kaynak: RayShaper)
Geçtiğimiz yıl, RayShaper, Çin'deki gereksinimleri karşılayan 8k ultra yüksek çözünürlüklü kodlayıcılara sahip tek şirket olarak, Ulusal Günün 70. Yıl kutlamalarının 8k tam zincir canlı yayınına katıldı; ilk kez Basketbol Dünya Kupası'nın canlı yayını için 5G + 8k teknolojisi kullanıldı ve ardından global 5G + 8k canlı yayın alan ilk 5G cep telefonu ve ülkenin ilk 8k ultra yüksek çözünürlüklü video uydu yayını.
RayShaper'ın temel teknolojisinin 2022 Kış Olimpiyatları bulut yayın platformu için de seçildiği anlaşılıyor, bu da canlı spor ve diğer senaryo içermeyen etkinliklerin fotoğrafçılarının dikkatini resmi olarak çekeceği anlamına geliyor.
5G ve yapay zekanın lütfu ile yeni bir hesaplamalı görüntüleme teknolojisi çağı geliyor. RayShaper Bee, fiyat, güç tüketimi, gecikme ve performans arasındaki ödünleşmeler ve dinamik zamanlama hakkında yenilikçi bir düşünme yöntemi sunan, VPU tabanlı yeni nesil bir biyonik bileşik göz bilgi işlem görüntü sistemidir. Bu kadar ilgi çekmesinin nedeni bu olabilir.
