Drone görüntülerinde hedef tespiti için derin öğrenme nasıl uygulanır
Bu makale, orijinal başlığı olan AI Araştırma Enstitüsü tarafından derlenen teknik bir blogdur:
Derin öğrenme kullanarak Drone Görüntülerinde kolayca Nesne Algılama nasıl yapılır
Yazar | Gaurav Kaila
Tercüme | Zackary, Disillusion, Liu Liu 1126
Düzeltme | Soslu Armut Terbiyesi | Ananas Kız
Orijinal bağlantı:
https://medium.com/nanonets/how-we-flew-a-drone-to-monitor-construction-projects-in-africa-using-deep-learning-b792f5c9c471
Drone görüntülerinde hedef tespiti için derin öğrenme nasıl uygulanır
Bu makale, derin öğrenmeye dayalı drone hava görüntüleri için nesne algılama yöntemlerine kapsamlı bir genel bakış sağlar. Ayrıca bir uygulama örneği de tanıttık: bir Afrika konut projesinin inşaat sürecini izlemek için dronların kullanılması.
Bölüm 1: Nano Drone API'lerini yayınladık!
Drone'ların ve ilgili işlevlerinin 2023'te 50 milyar dolarlık bir endüstri haline geleceğini biliyor muydunuz? Bugün itibariyle dronlar tarım, inşaat, kamu güvenliği ve güvenliğinde kullanılıyor ve diğer alanlarda da hızla kullanılıyor. kullanın. Bu drone'ların derin öğrenmeye dayalı "güçlerine" dayanan bilgisayar vizyonu olarak, endüstri uzmanları drone'ların daha önce hayal bile edilemeyen uygulama senaryolarında görülmemiş bir şekilde kullanılacağını tahmin ediyor.
Bazı uygulamaları ve bunlara eşlik eden zorlukları keşfedeceğiz.Bu uygulamalar, derin öğrenmeye dayalı drone'lara dayalı otomatik izlemeyi tamamlar.
Sonunda, Nanonets makine öğrenimi çerçevesini kullanarak Afrika'daki konut projelerinin uzaktan izlenmesinin bir örneğini göstereceğiz.
Bölüm 1: Havadan kısa arka plan
İnsanlar her zaman yüksekten, yüksek binalardan, gözetleme kulesinden, kaleden dünyaya bakış açısıyla büyülenmiş ve en yüksek dağı fethetmiştir. İnsanlar bu anları yakalamak ve bunları dünyayla paylaşmak için merdivenler, yüksek binalar, uçurtmalar, balonlar, uçaklar ve roketler yardımıyla yer çekimine meydan okumak için ellerinden geleni yapıyorlar.
1906'da uçurtmadan alınmış San Francisco'nun panoramik görüntüsü (Kaynak: Kongre Kütüphanesi)
Günümüzde, genel halk bile 2 kilometreye kadar uçabilen dronları kullanabilir. Bu dronlar, çeşitli analizler için yüksek kaliteli görüntüler yakalayabilen yüksek çözünürlüklü kameralarla donatılmıştır.
Tarım arazisinin havadan görüntüsü
Bölüm 2: İHA ve endüstriyel uygulamaları
Drone'ların popülaritesiyle, Güney Afrika'daki eşitsizliği yakalamak veya Woody Allen'ı yapacak kadar çekim yapmak gibi bazı yaratıcı projeler için drone kullanan birçok fotoğrafçı ve amatörün günlük hobilerini ve faaliyetlerini görüyoruz. (Woody Allen) New York'un harikalarıyla gurur duyuyor.
Tüm bunlar çok hafif görünse de, 50 milyar dolarlık İHA endüstrisinin çekirdeği endüstriyel uygulamalarda yatıyor.
Burada bir veya ikisini tartışıyoruz:
Enerji: Güneş enerjisi santrallerinin muayenesi
Güneş enerjisi santrallerinin günlük denetimi ve bakımı zor bir iştir. Geleneksel manuel algılama yöntemi, algılama sıklığını yalnızca üç ayda bir destekleyebilir. Zorlu ortam nedeniyle güneş panellerinde kusurlar olabilir. Hasarlı güneş paneli bileşenleri, güç çıkışı verimliliğini azaltır.
Sol: Güneş panelinin orijinal termal görüntüsü
Sağ: Intel otomasyon sistemi tarafından tespit edilen kusur konumu ve sınıflandırması
Tarım: erken bitki hastalıklarının tespiti
Imperial College London'daki araştırmacılar, drone'lara multispektral kameralar kurdular.Bu kameralar, elektromanyetik spektrumun seçilen bölgelerinden yansıyan ışığı yakalamak için özel filtreler kullanacak. Hastalıklı bitkiler genellikle sağlıklı bitkilerden farklı bir "spektral özellik" gösterirler.
Patojenlere ve yetersiz beslenmeye sahip bitki yapraklarının spektral görüntüleri
Kamu güvenliği: köpekbalığı tespiti
Geniş bir kara / su alanının üstten görüntüsünü analiz etmek, kamu güvenliği ve kamu güvenliği hakkında birçok bilgi elde edebilir. Avustralya'nın kıyı sularında bulunan köpekbalıkları buna bir örnektir. Avustralya Batı Pasifik Grubu, sudaki köpekbalıklarını tespit etmek için derin öğrenmeye dayalı bir hedef tespit sistemi geliştirdi.
Ek olarak, inşaat mühendisliği (köprülerin günlük denetimleri, tel izleme ve trafik incelemeleri), petrol ve gaz (açık deniz petrol ve gaz platformlarının denetimi, sondaj ekipmanı) ve kamu güvenliği gibi çeşitli havadan görüntü uygulamaları vardır. (Motorlu taşıt kazaları, nükleer kazalar, bina yangınları, gemi çarpışmaları, uçak ve tren kazaları) ve kamu güvenliği (trafik izleme, sınır izleme, kıyı izleme, düşmanca gösteriler ve isyan kontrolü).
Bölüm 3: Endüstriyel drone görüntülerini edinin ve işleyin
Araziyi ve manzarayı tam olarak yakalamak için, havadan görüntü elde etme süreci iki adıma bölünebilir.
Fotogrametri: Drone uçuşu sırasında görüntülerin örtüşmesini sağlamak için düzenli aralıklarla birkaç görüntünün alınması gerekir. Bu adım, görüntüleme nesneleri arasındaki mesafenin ölçülebilmesi için çok önemlidir. Genel olarak bu işleme fotogrametri denir. Veri analizi ve haritalama için kullanılması gereken görüntüler için, görüntü birleştirme için ilgili meta veriler de gereklidir. Bu meta veriler, drone üzerindeki mikro bilgisayar tarafından otomatik olarak gömülür.
Görüntü birleştirme: Veri toplama tamamlandıktan sonra, ikinci adım, görüntüleri hızlı bir şekilde birleştirmek için genellikle özel bir fotogrametrik teknik kullanarak, tek tek hava görüntülerini yararlı bir harita halinde birleştirmektir. Bu özel fotogrametrik tekniğe, hareket bilgisinden üç boyutlu sahne yapısının (Sfm) kurtarılması denir. Sfm yazılımı, aynı sahnenin farklı açılardan görüntülerini karşılaştırır ve eşleştirir ve her görüntüdeki nesneler arasındaki açıları ölçer ve ardından bunları birbirine diker. Bu adımda, her bir görüntüye konum bilgisi eklemek için görüntünün coğrafi bilgilerine başvurmak gerekli olabilir.
Görüntü birleştirme tamamlandıktan sonra, oluşturulan görüntü yukarıda bahsedilen çeşitli uygulama analizlerinde kullanılabilir.
Bölüm 4: Yapay Zeka, dronlarla buluşuyor
Yüksek çözünürlüklü hava görüntüleri dünya çapında giderek daha yaygın hale geliyor ve bakım, arazi geliştirme, hastalık kontrolü, kusur konumu, izleme ve diğer uygulamalarla ilişkilendirilebilecek büyük miktarda bilgi içeriyor. Ne yazık ki, bu veriler genellikle oldukça yapılandırılmamıştır, bu nedenle yoğun manuel analizde bile, onlardan büyük ölçekte anlamlı içgörüler elde etmek zor olabilir.
Örneğin, kentsel arazinin sınıflandırılması genellikle eğitimli profesyoneller tarafından yapılan ölçümlere dayanmaktadır. Dolayısıyla bu görev emek yoğun, seyrek, yavaş ve pahalıdır. Bu nedenle, bu verilerin çoğu yalnızca bu verileri toplamak ve yönetmek için gereken kaynaklara ve vizyona sahip gelişmiş ülkelerde ve büyük şehirlerde mevcuttur.
Hava görüntülerini otomatik olarak analiz etmek için bir başka motivasyon, bölgedeki değişiklikleri önceden tahmin etme ihtiyacıdır. Örneğin, büyük ölçekli halka açık toplantılarda (konserler, futbol maçları, protestolar vb.), Genellikle kitleleri ve kitlesel davranışları saymak gerekir. Geleneksel olarak, özel bir kişi doğrudan CCTV kamerasından komuta merkezine gönderilen görüntüleri analiz eder. Tahmin edebileceğiniz gibi, bu yöntemin olayları algılamadaki insan gecikmeleri veya hataları ve standart statik kapalı devre televizyon (CCTV) için yeterli görünüm eksikliği gibi çeşitli sorunları vardır.
Aşağıdakiler, havadan görüntüleri kullanırken sıklıkla karşılaşılan zorluklardan bazılarıdır.
Havadan görüntü otomasyonunun zorlukları ve sınırlamaları
Drone görüntülerini otomatik olarak analiz ederken, üstesinden gelinmesi gereken birkaç zorluk vardır. Bazıları aşağıda listelenmiştir ve
Umut verici bir çözüm verilir:
Nesnelerin baş üstü ve küçük görünümü: Mevcut bilgisayar görme algoritmaları ve veri setleri, yakın nesnelerin insan merkezli, yatay olarak çekilmiş fotoğrafları için laboratuar ortamında tasarlanır ve değerlendirilir. Dikey olarak alınan İHA görüntüleri için, ilgilenilen nesneler nispeten küçüktür ve çoğunlukla düz ve dikdörtgen olmak üzere birkaç özelliğe sahiptir. Örneğin drone'dan alınan bina görüntüsü sadece çatıyı gösterirken, binanın zemin görüntüsü kapı, pencere, duvar gibi özelliklere sahip olacaktır.
Veri etiketleme zordur: Yukarıdaki bakış açısına göre, çok sayıda görüntü elde edebilsek bile, onları yine de etiketlememiz gerekir. Bu, kesinlik ve doğruluk gerektiren manuel bir görevdir, çünkü "girdi çöpü, çıktı çöpü demektir". Manuel olarak yapmanın dışında, etiketleme problemini çözmenin sihirli bir yolu yoktur. Nanonet'te, verileri sizin için gerektiği gibi işaretleyebilecek bir açıklama sunuyoruz.
Büyük görüntü boyutu: İHA görüntü boyutu çok büyüktür, çoğu durumda çözünürlük 3000 piksel x 3000 pikselin üzerindedir. Bu, bu tür görüntüleri işlerken hesaplama karmaşıklığını artırır. Bu sorunun üstesinden gelmek için, model eğitim aşamamıza hazırlamak için hava görüntülemesine ön işleme yöntemleri uyguluyoruz. Bu, eğitimimizin bu değişikliklerden etkilenmemesi için görüntüleri farklı çözünürlüklerde, açılarda ve pozlarda kırpmayı içerir.
Nesne çakışması: Parçalı görüntülerle ilgili sorunlardan biri, aynı nesnenin iki farklı görüntüde görünebilmesidir. Bu, tekrarlanan tespit ve sayım hatalarına yol açabilir. Ayrıca algılama işlemi sırasında birbirine çok yakın olan bazı nesneler de üst üste binen sınırlara sahip olabilir. Bu sorunun üstesinden gelmenin bir yolu, küçük, yoğun nesneleri bulmak için kayan bir pencereden örnek almaktır.
Bölüm 5: Nanonetler durum incelemesi: Afrika inşaat projelerinin uzaktan otomasyon incelemesi
Güney Afrika'da bir hizmet olarak robotik (hizmet olarak robotik) şirketi olan Pragmatic Master, Afrika'daki bir konut inşaatı projesinin ilerlemesini uzaktan ve otomatik olarak izlemek için Nanonets ile işbirliği yapıyor.
Bu projeler genellikle yanlış alarmlar nedeniyle gecikmelere ve hırsızlığa neden olur ve bu, sık drone uçuşu araştırması ve kaydı ile çözülebilir.
Amacımız, aşağıdaki altyapıyı tespit ederek evlerin farklı aşamalardaki inşaat sürecini yakalamaktır:
Temel (başlangıç)
Duvar paneli (devam ediyor)
Çatı (kısmen tamamlandı)
İstinat duvarı (bitirme)
Su ısıtıcısı (içeri taşınabilir)
Pragmatic Master, Nanonet'in kullanımı kolay web platformu ve tak ve çalıştır API'leri nedeniyle Nanonet'i derin öğrenme sağlayıcısı olarak seçti.
Nanonet API'yi uçtan uca kullanma süreci çok basittir, sadece dört adımdır.
Nanonets API'sinin uçtan uca akışı
1. Resimleri yükleyin: Drone'dan elde edilen resimler doğrudan yükleme sayfamıza yüklenebilir. Bu vaka çalışmasında, alçak rakımda çekilmiş toplam 1442 şantiye fotoğrafı elde ettik. Yüklenen resim örnekleri aşağıda verilecektir.
2. Görüntü etiketleme: Herhangi bir denetimli makine öğrenimi sürecinde, görüntülerin etiketlenmesi en zor ve zaman alan adım olabilir, ancak Nanonets olarak etiketlemeyi sizin için tamamlayabiliriz. Havadan görüntüleme konusunda uzun yıllara dayanan deneyime sahip şirket içi uzmanlarımız var. Daha iyi model eğitimi için resimlerinize doğru ve doğru bir şekilde açıklama eklerler. Pragmatic Master'ın kullanım durumu için, aşağıdaki nesneleri ve bunların toplam sayısını tüm görüntülerde işaretledik.
-
Çatı: 2299
-
Su ısıtıcısı: 6556
-
Duvar paneli: 1043
-
Parapet: 8730
Su ısıtıcısının görüntüsü işaretlenmiştir
3. Model eğitimi: Nanonets'te, resimlerinizi eğitmek için aktarım öğrenme ilkesini de kullanıyoruz. Bu, kapsamlı havadan görüntüleme ile önceden eğitilmiş bir modelin yeniden eğitilmesini içerir. Bu, modelin görüntülerinizdeki kenarlar, çizgiler ve konturlar gibi mikro görüntüleri daha kolay tanımasına ve evler, ağaçlar, insanlar ve arabalar gibi daha spesifik makro modellere odaklanmasına yardımcı olur. Göç öğrenimi aynı zamanda eğitim süresini de azaltır çünkü modelin iyi bir performansa sahip olması için çok fazla yineleme gerektirmez.
Tescilli derin öğrenme yazılımımız en iyi modeli akıllıca seçebilir ve kullanım durumunuza göre hiper parametreleri optimize edebilir. Bu, birden çok model ve çok boyutlu parametreler arasında arama yapmak için gelişmiş arama algoritmalarının kullanılmasını içerir.
Algılanması en zor nesneler, daha düşük çözünürlükleri nedeniyle en küçük nesnelerdir. Model eğitim stratejimiz, su ısıtıcıları ve istinat duvarları gibi yalnızca birkaç piksellik bir alana sahip çok küçük nesneleri tespit etmek için optimize edilmiştir.
Evin tamamı tespit edildi
Her bir sınıfın ortalama doğruluğu aşağıdadır,
Çatı:% 95,1
Su ısıtıcısı:% 88
Duvar paneli:% 92
İstinat duvarı:% 81
Not : Daha fazla görüntü eklemek ortalama doğruluğu artırabilir. API'miz ayrıca tek bir görüntüdeki çatılar ve korkuluklar gibi aynı görüntüdeki birden çok nesnenin algılanmasını da destekler.
4. Test ve entegrasyon: Model eğitildikten sonra, Nanonet'in API'sini doğrudan sisteminize entegre edebilirsiniz veya eğittiğiniz model ve çıkarım kodunu içeren bir ayna sağlayacağız. Yansıtma kolaylıkla ölçeklenebilir ve hataya dayanıklı bir muhakeme sistemi sağlar.
Son adımda, görüntüler birbirine birleştirilir ve her bir görüntüyle ilişkili GIS verileri, tüm manzara görünümünü oluşturmak için kullanılır.
Tahmin edilen görüntüler, tüm manzara görünümünü oluşturmak için birbirine dikilir
Bölüm 6: Veri Gizliliği
Müşteri güveni bizim önceliğimizdir. Size her zaman içeriğinizin sahipliğini ve kontrolünü sağlamayı taahhüt ediyoruz. Hizmetlerimizi kullanmak için iki paket sunuyoruz,
Geliştirici: Yüklediğiniz kullanım örneği resmi, modelimizi önceden eğitmek için tarafımızdan kullanılabilir ve onu diğer uygulamalarımızda daha fazla kullanabiliriz.
Kurumsal: Verileriniz sizindir! Verilerinizi asla herhangi bir modelin ön eğitimi için kullanmayacağız.
Her iki pakette de, oldukça karmaşık veri gizliliği ve güvenlik protokollerini kullanmak için bulut ortağımız Amazon Web Services ile birlikte çalışıyoruz. Veri kümeniz anonimdir ve ön işleme ve eğitim sırasında minimum manuel müdahale gerektirir. Verilerinizin yanlış ellere düşmesini önlemek için hepimiz bir gizlilik sözleşmesi (NDA) imzaladık. "Verilerinizin sizin!" Olduğuna inandığımız için, herhangi bir aşamada verilerinizi sunucularımızdan silmemizi isteyebilirsiniz.
Nanonet, derin öğrenmeyi kullanmayı kolaylaştıran bir web hizmetidir. Daha yüksek doğruluk elde etmek için kendi verilerinizle bir model oluşturabilir ve bunu uygulamanıza entegre etmek için API'lerimizi kullanabilirsiniz.
Daha fazla ayrıntı için lütfen şu adresi ziyaret edin: https://nanonets.com/drone
Pragmatic Master, inşaat, tarım ve madencilik alanlarının görüntülerini yakalamak için kameralarla donatılmış dronlar sağlayan bir hizmet olarak Güney Afrika robot şirketidir. Bu görüntülerin analizi sayesinde ilerlemeyi izleyebilir, zorlukları belirleyebilir, verimsizlikleri ortadan kaldırabilir ve sitenin genel bir kuşbakışı görünümünü sağlayabiliriz.
Bu makalenin ilgili bağlantılarını ve referanslarını görüntülemeye devam etmek ister misiniz?
Bağlantıya uzun basın ve açmak için tıklayın veya [Drone görüntülerinin hedef tespitine derin öğrenme nasıl uygulanır] 'ı tıklayın:
https://ai.yanxishe.com/page/TextTranslation/1295
AI Araştırma Enstitüsü heyecan verici içerikleri günlük olarak günceller, daha heyecan verici içerikler izleyin:
Python ile genetik algoritma uygulayın
Bir ev bulmak için önce Python'u tarayıcı olarak kullanın
Acemiler için mutlaka görülmesi gereken: Derin öğrenme nedir? O nasıl çalışır?
Python gelişmiş teknikler: tek satır kod ile bellek kullanımını yarı yarıya azaltın
Çevirmenizi bekliyorum: Lei Feng Wang Lei Feng Wang Lei Feng Wang
