Wu Bo: Tıbbi Görüntülerin Yapay Zeka Destekli Analizinde Hedef Tespit Entegrasyon Çerçevesi Uygulaması AI Araştırma Topluluğu 78. Ders
Tıbbi görüntü analizinde kullanılan yapay zekanın kapsamı nasıl tanımlanır, ilgili görevler nasıl ayarlanır ve makul model yöntemleri benimsenir? Tıbbi görüntü analizinde hedef tespit görevlerinin evrenselliği, hedef tespiti için entegre bir çerçeve geliştirmeyi gerekli kılar.
Yakın zamanda, Leifeng.com AI Araştırma Topluluğu'nun açık sınıfında, Shenzhen Yiyuan Intelligent Technology Co., Ltd.'den sorumlu kişi Wu Bo, hedef tespit çerçevesinin tıbbi görüntü analizinde üretilmesi için nasıl dönüştürüleceğini paylaşmaya odaklanarak mevcut hedef tespit çerçevesini analiz etti. Daha iyi sonuçlar. Açık sınıf oynatma video URL'si:
Wu Bo
Akademik geçmiş: Hong Kong Baptist Üniversitesi'ndeki Tsinghua Üniversitesi'nde art arda eğitim aldı ve bilgisayar görme uzmanı Profesör Tang Yuanyan ve diğerlerinin vesayeti altında Birleşik Krallık'taki Leeds Üniversitesi'nde doktora sonrası çalışmaları tamamladı. ICML / ACL gibi önemli konferanslarda birçok yapay zeka makalesi yayınladı.
Endüstriyel deneyim: 2017 yılında kurulan bir tıbbi AI şirketi olan Yiyuan Intelligent, tıp ve sağlık alanında AI ile geliştirilmiş çözümler sunmak için 20'den fazla yapay zeka doktoru ve birçok yurt içi ve yurt dışı tıbbi danışmanı bir araya getirdi ve birçok tanınmış hastaneyle anlaşmalar yaptı. İşbirliği yapın ve kalıplanmış ürünleri piyasaya sürün. Wu Bo, Yiyuan Intelligence'ı kurmadan önce Ericsson Büyük Veri Araştırma Enstitüsü'nde çalışmış ve on milyarlarca sanal ürün e-ticareti ve dijital para sisteminin iş ve veri mimarisinin inşasına ve işletilmesine öncülük etmiştir.
Konuyu paylaş: Tıbbi görüntülerin yapay zeka destekli analizinde hedef tespit entegrasyon çerçevesinin uygulanması
Ana hatları paylaşın:
1. Tıbbi görüntü analizinin görev türleri ve nesneleri
2. Mevcut hedef tespit çerçevesi, tıbbi görüntü analizi sürecinde kullanılır
3. Yapay zeka konusunda başarılı olmak için doktorlarla nasıl işbirliği yapılır?
Leifeng.com AI Araştırma Enstitüsü paylaşım içeriğini şu şekilde düzenler:
Bugün size tıbbi görüntülerin yapay zeka destekli analizinde hedef tespit entegrasyon çerçevesinin uygulanmasından bahsedeceğim.
Tıbbi görüntü analizi görevleri ve araştırma nesneleri türleri
Tıbbi görüntü analizi için ana görev türleri şunlardır:
Sınıflandırma ve tanımlama: Bu, en basit ve en doğrudan görev türüdür. Soldaki resim, daha önce Profesör Wu Enda tarafından yapılmış bir X-ışını modelidir.Bu model ağırlıklı olarak pnömoni gibi hastalıkların olup olmadığını belirlemek için sınıflandırma için kullanılır. Görüntü sınıflandırma ve tanıma, ortak bir görüntü analizi (MIA: Tıbbi Görüntü Analizi) görevi ve görüntü erişiminin temel birimidir.
ImageNet gibi, AlexNet, VGG, GoogleNet, ResNet, SEnet vb. Gibi derin sinir ağlarının doğruluğu kademeli olarak% 72'den% 97.75'e yükseldi ve bu da insan gözünün% 94.9'unu aşıyor. Tıbbi görüntülerin sınıflandırılması da pratik öneme sahiptir.Örneğin, bir kişinin hasta olup olmadığına ve ne tür bir hastalık olduğuna karar vermek mümkündür.Doğa ve Bilim gibi dergiler cilt kanseri, göğüs radyografileri ve fundus fotoğrafları gibi tıbbi sahnelerin görüntü sınıflandırmasını yayınlamıştır. model.
Bununla birlikte, gerçek operasyon sırasında, tıbbi görüntüleri bir sınıflandırma sorunu olarak ele almanın çok iddialı ve kapsamlı olduğunu gördük. Derin öğrenme modelleri, tek adımda uçtan uca kara kutu modellerinin özelliklerine sahiptir. Ara süreçten bağımsız olarak girdiden çıktıya, iyi sonuçlar elde edilebilmesine rağmen, genellikle insanların bütünü öğrenmesini sağlar. Süreç, onu bilmek ama nedenini bilmemek. Dahası, tıbbi görüntülere basitçe bir sınıflandırma problemi olarak muamele etmek tıbbi bir soruna çözüm değildir, belli bir derecede bilgisayar destekli teşhis (CAD: Bilgisayar Destekli Teşhis) olarak kabul edilebilmesine rağmen, ilişkilendirme ve yorumlanabilirlik kusurlu ve yetersizdir. Doktorun tam referansı için
Hedef Tespiti: Bu görev türü de çok yaygındır ve şimdi giderek daha popüler hale geliyor ve önemi gittikçe daha fazla önem kazanıyor. CAD'in geçmişi ve gelişiminden, nesne algılama ve tıbbi görüntü analizi arasındaki bağlantıyı görebiliriz. CAD iki kategoriye ayrılır:
Bilgisayar Destekli Teşhis (CADx: Bilgisayar Destekli Tanı): semptomları sınıflandırın, tanımlayın ve tahmin edin
Bilgisayar Destekli Algılama (CADe: Bilgisayar Destekli Algılama): Esas olarak görüntüdeki lezyonları / lezyonları tespit eder. İlişkilendirme açısından etki açısından CADe, tıbbi görüntü analizi yaparken daha gerçekçi olabilir. CADe, hedef tespitine daha yakındır.
ImageNet 2013 yılında hedef tespit sorgulamasını başlattı. 40.000 İnternet görüntüsünde 200 nesne tespit etti. MAP 2017'de 0.2258'den 0.7322'ye çıktı. Bu seviye neredeyse insan seviyesine ulaştı.
segmentasyon: Bu aynı zamanda geleneksel tıbbi görüntü analizinde bir tür görevdir. Segmentasyon temel olarak şunları içerir: anlamsal bölümleme ve örnek bölümleme. Tıbbi görüntü analizi, organ ve alt yapı segmentasyonunun yanı sıra lezyon / lezyon segmentasyonu vb. İçerir. Tıbbi görüntü bölümlemesi, geleneksel görüntülerin anlamsal bölümlemesinden ve örnek bölümlemesinden farklıdır. Bizim görüşümüz, segmentasyon problemini hedef tespit olarak ele almanın, aynı zamanda, hedef tespit alanında metotların güçlü bir şekilde geliştirilmesinden yararlanmak için uygun olduğudur.
[Tıbbi görüntü segmentasyonunun farklı noktaları ve zorlukları hakkında daha fazla açıklama için lütfen 00:13:10 adresindeki videoya tekrar bakın,
Tıbbi görüntü analizinin araştırma nesnelerini de araştırıyoruz.
Tıbbi görüntü analizi okuduğumuzda, tıbbi görüntüleme terimiyle ilgili birçok makaleye de atıfta bulunduk ve konsültasyon, çalışma ve anlayış gerçekleştirdik. onların arasında, Tıbbi görüntülemenin yetkili bir tanımı şöyledir: Tıbbi Görüntüleme (Tıbbi Görüntüleme), insan vücudunun iç dokularını ve organlarını görüntüleme yoluyla görüntülemek için medyayı (X ışınları, elektromanyetik alanlar, ultrason, endoskoplar vb.) Kullanır ve böylece insan sağlığını kolaylaştırır. Durum değerlendirilir.
[Tıbbi görüntülemenin tanımı hakkında daha fazla açıklama için lütfen videoyu 00:19:45 'de izleyin,
Genel olarak, tıbbi görüntüleme, görüntüleme teknolojisi / ekipmanı, görüntü işleme teknolojisi ve giderek daha önemli hale gelen tıbbi görüntü analizini içerir. Bu nedenle literatürde, MIA ve tıbbi görüntüleme (Tıbbi görüntüleme) genellikle birbirinin yerine kullanılmaktadır.
Tıbbi görüntü analizinin kapsadığı görüntü türleri "iç dokular ve organlar" ile sınırlı değildir. Bunlar ayrıca vücut yüzey derisinin, yüz özelliklerinin ve dış eklem özelliklerinin fotoğraflanmış görüntülerinin yanı sıra mikroskobik ve taranmış doku ve sitopatolojik görüntüleri de içerir. Yüksek derecede dijitalleştirme ve format standartları nedeniyle, radyolojik görüntülerin analizi ve işlenmesi en popüler olanıdır; ancak diğer görüntü alanlarında, görüntüleme ekipmanı, işleme ve analiz her geçen gün gelişmekte ve dijitalleştirme derecesi artmakta, yapay zeka müdahalesini mümkün kılmaktadır ve değeri ve önemi giderek daha fazla yansıtmaktadır. .
Aşağıdaki resimde görebiliyoruz Tıbbi görüntü analizi türleri ve ilgili özellikler :
[Tıbbi görüntü analizinin türleri ve özelliklerinin açıklaması için lütfen 00:23:35 adresindeki videoyu inceleyin,
Tıbbi görüntü analizi sürecinde mevcut hedef tespit çerçevesi kullanılmaktadır.
Bugün paylaşılan ikinci bölümü hedef tespitine girin. Esas olarak ilgili süreçler ve deneyimlerden bahsediyoruz.
Hedef tespit etmeden önce, hedef tespit eğitim verilerini hazırlamanız gerekir. Hastanelerden, tıbbi kurumlardan, doktorlardan ve veri kaynaklarından birçok veriyi biriktirecek, organize edecek ve temizleyeceğiz. Bunların arasında temizlik çok karmaşık ve çok büyük bir bağlantıdır. Veri hazırlamanın odak noktası esas olarak etiketlemedir.
[Hedef tespit eğitimi veri hazırlama (etiketleme) ve etiketleme sistemi hakkında daha fazla açıklama için lütfen 00:29:40 adresindeki videoya tekrar bakın,
Aşağıdaki şekil, futbol sahasını etiketlemek için üçüncü taraf araç olan LabelImg'ın kullanıldığı videoyu göstermektedir:
Tıbbi görüntüleme alanı aynı zamanda karmaşık denetimleri ve dahili görüntü yönetimini de içerir Basit açık kaynaklı araçlar bu görevlerin ihtiyaçlarını karşılayamaz. Bazı araçları araştırmanız ve oluşturmanız gerekiyor .
Görüntü yapay zekası alanında, etiketleme son derece maliyetli ve zaman alıcıdır, bu nedenle yapay zeka da etiketlemeye yardımcı olur ayrıca değerli bir uygulamadır.
[AI'nın yardımcı ek açıklamasıyla ilgili daha fazla açıklama için lütfen 00:35:15 adresindeki videoyu tekrar izleyin,
Daha sonra, bugünün ana parçası olan hedef tespit çerçevesi ve süreci hakkında konuşun.
Detectron çerçevesini öneriyoruz:
[Detectron çerçevesi hakkında daha fazla açıklama için lütfen 00:37:15 adresindeki videoyu tekrar izleyin,
Deney sırasında, Detectron'a karşı diğer entegre olmayan algoritmaları da denedik ve Detectron'ın kendisinde bazı problemler bulduk.Örneğin, medikal görüntü alanında, bölümleme ve hedef tespitinin bazen ara sıra kullanılması gerekir ve Detectron çerçevesi ikisinin kesişimini başaramaz. kullanın. Tıbbi görüntü alanındaki bazı problemler ve Detectron'un kendi problemleri ışığında, dahili olarak bir çerçeve-eWingDET çerçevesini optimize ettik. Özellikleri ve avantajları şunları içerir:
Birincisi, bbox ve maskenin iki tanıma hedefinin keyfi olarak değiştirilmesini destekler, omurga ağının ücretsiz değiştirilmesini destekler, çeşitli görüntü geliştirme yöntemlerini destekler ve 2D ve 3D görüntü hedef tespitini destekler.
İkincisi, çekirdek olarak tensorflow ve çekirdek olarak Daha Hızlı-RCNN / Maske-RCNN ile, python taraflı çoklu GPU eğitimi gerçekleştirebilir ve Horvod dağıtılmış çerçevesiyle uyumludur.
Üçüncüsü, eğitimli model, sonuçları üretmek için C ++ kullanarak CPU üzerinde çıkarım yapmak için doğrudan ön uçta kullanılabilir.
Dördüncüsü, model performansı için değerlendirme işlevini özelleştirin ve CT'de kalsifiye lezyon hedeflerinin saptanması gibi küçük hedef saptamanın performansını iyileştirmek için FPN ekleyin.
[Detectron çerçevesi hakkında bazı sorular ve eWingDET çerçevesinin özellikleri, süreçleri, eğitimi ve çıkarımı hakkında daha fazla açıklama için lütfen 00:39:50 adresindeki videoya tekrar bakın,
İster tıbbi görüntü algoritması ister model olsun, Nasıl daha eksiksiz bir sisteme dönüştürülür ve sistemin hastaneye yerleştirilme yöntemi genellikle daha gerçekçidir .
[Sistem dağıtım yöntemleri hakkında daha fazla açıklama için lütfen 00:50:30 'daki videoya tekrar bakın,
Tıbbi görüntü yapay zekamız, dışarıdan işbirliği yapmak ve güçlendirmek için hastanelere de inecek. Örneğin, birden çok tıbbi görüntü analizi işlevini entegre eden tıbbi görüntü yapay zekası (AIaaS) platformu aracılığıyla, nitelikli kurumsal kullanıcılar ve profesyonel kullanıcılar model deneyimini, API çağrılarını ve diğer hizmetleri kullanmak için platforma girebilir. Platform, model deneyimine ve API çağrılarının sayısına göre kotayı düşürür. Kullanıcılar ayrıca modelleri iyileştirmeye ve bilgi işlem gücü sağlamaya yardımcı oldukları için kota ödülleri alabilirler.
Durum çalışmaları
Durum 1: Diş kökü kanalı tanımlama
Durum 2: Hedef algılama, cilt görüntüsü analizi için kullanılır
Cilt görüntüsü analizi ile ilgili olarak, üç sedef hastalığı AI, yüz cilt hastalığı AI ve yüz cilt AI yan ürünleri, yani kırışıklık lekeleri ve diğer hedef tespit işlemlerinden bahsedeceğim.
[Deri görüntüsü analizinde kullanılan diş kökü kanal tanıma ve hedef tespiti vakalarının spesifik açıklamaları için lütfen 00:59:58, 00:63:22 adresindeki videoyu inceleyin,
Akciğer nodüllerinin BT analizi için iyi bir 3 boyutlu hedef belirleme işi yaptık, kısaca sizinle paylaşmama izin verin.
Akciğer nodüllerinin BT analizinde 3D hedef tespitinin uygulanması, entegre çerçeve ve hedef tespit yönteminin yalnızca nispeten sığ cilt tanıma alanında değil, aynı zamanda nispeten büyük ve zor sahnelerin tıbbi görüntü tanımasında da kullanılabileceğini göstermektedir. Kullanılan. Akciğer nodülü tanıma, ayarlanması gereken ağ parametrelerini azaltabilen 3D Daha Hızlı RCNN'nin RPN ağını kullanır.Sınıflandırma için sonradan tam bağlantı yoktur ve yanlış pozitifleri azaltmak için bir dizi 3D CNN bağlanmasına gerek yoktur.
[Akciğer nodüllerinin CT analizi için 3D hedef tespitinin açıklaması için lütfen 00:72:20 numaralı videoyu inceleyin,
Yapay zekada başarılı olmak için doktorlarla nasıl işbirliği yapılır?
Son olarak, yapay zeka konusunda doktorlarla nasıl işbirliği yapacağımı paylaşmama izin verin. Değer verdiğimiz yapay zeka mühendislerinin yetenekleri esas olarak aşağıdakileri içerir:
Birincisi, doktorlarla işbirliği yapma becerisidir (bu yetenek EQ ile ilgilidir). Geleneksel makine öğreniminde, genellikle yalnızca ekipman ve kodlarla uğraşmak gerekirken, tıbbi görüntüleme araştırmaları ve geliştirmeleri doktorlarla sık iletişim gerektirir ve doktorun fikirleri sürekli olarak kodlara dönüştürülür. Bu fikirlerin ve yöntemlerin çoğu makalelerden türetilemez ve doktorlarla işbirliği genellikle AI araştırmacılarının sahip olması gereken bir beceridir.
İkincisi, verilerden optimal model fikirleri bulma yeteneğidir, yani problem çözme yeteneği (bu yetenek IQ ile ilgilidir). Tıbbi görüntüleme verileri, hastaneden hastaneye farklılık gösterir ve bu, esas olarak hastane sahnelerine ve çekim tekniklerine yansır. Çoğu durumda, her bir hastalık türünün verileri bile önceki çalışmada referans için mevcut değildir. Bu, modeli optimize etmek için verilerde çok fazla zaman harcamamızı, verilerdeki yasaları aramamızı gerektirir. Verileri kontrol edebilmeniz ve etkiyi kontrol edebilmeniz için veri hassasiyetini kontrol edin ve çöplerin dışarı çıkmasını önleyin.
Yapay zeka mühendislerinin yetenekleri, farklı verilerle ve farklı değerlendirme yöntemleriyle her temas kurduklarında, sorunu çözmenin anahtarını hızla bulabildikleri gerçeğine yansıyor. Ve daha fazla yetenek, standartları ve pratik yeni çerçeveleri soyut olarak başlatma becerisine de yansıyor.
Ayrıca, makine öğreniminin [yöntem] ve derin öğrenmenin de [teknik] olduğu unutulmamalıdır. AI mühendisleri araçlara fazla takıntılı olamaz ve sorunun özünü görmezden gelemez.
Üçüncüsü, yeni fikirleri ve çerçeveleri gerçek çalışmaya dahil etme yeteneğidir (bu yetenek, özenle ilgilidir). Yeni çerçeve eski çerçevenin yerini aldığı için, eşik sık sık yükseltilir. Takip etmezseniz, geride kalırsınız, bu nedenle en son sınır gelişmelerine ayak uydurmalıyız. Ancak, bu yetenek genellikle yalnızca halka açık veri kümeleri sorununu çözebilir. Karşılaştığımız gerçek karmaşık ve değişken tıbbi görüntüler için kesinlikle yeterli değil ve çukura düşmek kolay.
Şu anda yapay zeka mühendisleri, makine öğrenimi mühendisleri, algoritma mühendisleri ve veri mühendisleri işe alıyoruz. İlgilenen öğrenciler bizimle iletişime geçmekten memnuniyet duyar.
Bu paylaşımın bir özeti:
Öncelikle tıbbi görüntü analizinin yöntem ve türlerinden bahsettik.Asıl çalışmamızda hedef tespitin rolü diğer yöntemlerden üstündür. Genellikle görüntü sınıflandırma, yeniden yapılandırma ve bölümleme problemlerini çözmeye değil, daha çok hedef tespit problemi olarak öncelik vermeyi seçiyoruz. Bu metodoloji nispeten sabit olmasına rağmen, aslında medikal görüntü analizinde kullanıldığında geniş bir uygulama alanına sahiptir.
İkinci olarak, çerçeve öğrenimi ve model oluşturulduktan sonra tıbbi kurumlarla nasıl bağlantı kurulacağı dahil olmak üzere tüm hedef tespit sürecini paylaştı.
Son olarak, yapay zeka konusunda doktorlarla nasıl iyi işbirliği yapılacağını paylaştım ve ardından yapay zeka mühendislerinin sahip olması gereken birkaç yeteneği ve uygulama için hangi yönlere ihtiyaçları olduğunu paylaştım.
Yukarıdakiler, bu sayıda davetliler tarafından paylaşılan tüm içeriklerdir. Daha fazla genel sınıf videosu için lütfen izlemek için Leifeng.com (Herkese Açık Hesap: Leifeng.com) AI Araştırma Topluluğu'na (https://club.leiphone.com/) gidin. WeChat genel hesabını takip edin: AI Araştırma Enstitüsü (okweiwu), en son genel sınıf canlı yayın süresi önizlemesini alabilirsiniz.
