Derin öğrenme altında tıbbi görüntü analizi (4)
Lei Feng Net Not: Bu makale " Derin Öğrenme Part4 ile Tıbbi Görüntü Analizi " , Yakın zamanda yayınlandı "Derin Öğrenme Altında Tıbbi Görüntü Analizi (3)" Takip makalesi. Leifeng.com'da özel çıkış.
Derin öğrenmeyle ilgili tıbbi güvenlik çalışmaları için, 2017 "Nvidia GTC Konferansı" kesinlikle mükemmel bir bilgi kaynağıdır. Konferansta Ian GoodFellow ve Jeremy Howard gibi derin öğrenme uzmanları derin öğrenme hakkındaki görüşlerini paylaştı; ayrıca bazı en iyi tıp okulları (Mount Sinai Tıp Fakültesi, New York Üniversitesi Tıp Fakültesi, Massachusetts Genel Hastanesi vb.) Ve Kaggle Konferansta modelleme stratejilerini sunun.
Son yazımızda derin öğrenme ile ilgili temel içerikten bahsetmiştik. Bu yazıda tıbbi görüntülere ve formatlarına odaklanacağız.
Bu makale üç bölüme ayrılmıştır: Tıbbi görüntü ve bileşimi, tıbbi görüntü formatı ve tıbbi görüntünün format dönüşümü . Bu makale nihayet, ilgili derin öğrenme bilgisinin tanıtılması yoluyla tıbbi görüntü analizinin amacına ulaşmayı ummaktadır.
Tıbbi görüntü ve bileşimi
Michele Larobina ve Loredana Murino tarafından yayınlanan makale, bu makaledeki tartışma için iyi bir referanstır. Michele Larobina ve Loredana Murino, İtalyan Biyolojik Mimari ve Biyo Görüntüleme Derneği'nin (IBB) üyeleridir. IBB, İtalya'nın "Ulusal Araştırma Konseyi" nin bir parçasıdır ve İtalya'daki en büyük kamu araştırma kurumudur. Diğer referans bilgi kaynağımız, "R'de DICOM ve NIfTI veri standartları ile çalışma" başlıklı bir belgedir.
-
Tıbbi görüntü nedir?
Tıbbi görüntü, anatomik bir alanın iç yapısını veya iç işlevini yansıtan bir görüntüdür ve bir dizi görüntü öğesi-piksel (2D) veya stereo pikselden (3D) oluşur. Tıbbi görüntüler, değerleri farklı uzamsal konumlarla eşleştirebilen, örnekleme veya yeniden yapılandırma ile oluşturulan ayrı görüntü temsilleridir. Piksel sayısı, belirli bir görüntüleme cihazı altındaki tıbbi görüntülemeyi tanımlamak için kullanılır ve aynı zamanda anatomi ve işlevlerinin ayrıntılarını açıklamanın bir yoludur. Piksel tarafından ifade edilen spesifik değer, görüntüleme ekipmanı, görüntüleme protokolü, görüntü yeniden yapılandırma ve işlem sonrası tarafından belirlenir.
-
Tıbbi görüntülerin bileşimi
Tıbbi görüntü kompozisyonu Tıbbi görüntünün dört temel bileşeni vardır: Piksel derinliği, fotometrik temsil, meta veriler ve piksel verileri. Bu bileşenler, görüntü boyutu ve görüntü çözünürlüğü ile ilgilidir.
Görüntü derinliği (bit derinliği veya renk derinliği olarak da bilinir) Her pikselin bilgisini kodlamak için kullanılan bit sayısıdır. Örneğin, 8 bitlik bir raster, 0 ile 255 arasında değişen 256 görüntü derinliğine sahip olabilir.
Kaynak: desktop.arcgis.com/en/arcmap/10.3/manage-data/raster-and-images/bit-depth-capacity-for-raster-dataset-cells.htm
"Parlaklık Temsili" Piksel verilerinin doğru görüntü formatında (tek renkli veya renkli resim) nasıl görüntülendiğini açıklar. Piksel değerinde renk bilgisi olup olmadığını açıklamak için "piksel başına örnek sayısı" kavramını tanıtacağız. Tek renkli görüntülerde yalnızca bir "piksel başına örnek" bulunur ve görüntüde renk bilgisi yoktur. Görüntü siyahtan beyaza gri tonlarda gösterilir Gri ölçeklerin sayısı açıkça örnekleri saklamak için kullanılan bit sayısına bağlıdır. Burada, gri düzeylerinin sayısı piksel derinliğiyle tutarlıdır. CT görüntüleri ve manyetik rezonans (MR) görüntüleri gibi tıbbi radyoloji görüntüleri gri ölçekli bir "fotometrik gösterimdir". Pozitron emisyon tomografisi (PET) ve tek foton emisyon tomografisi (SPECT) gibi nükleer tıp görüntüleri genellikle renkli haritalar veya paletler halinde görüntülenir.
"Meta veriler" Resmin görüntüsünü tanımlamak için kullanılan bilgidir. Garip görünebilir, ancak herhangi bir dosya biçiminde, piksel verilerine ek olarak, görüntüde bazı diğer ilgili bilgiler vardır. Bu tür görüntü bilgileri, genellikle dosyanın başlangıcında görüntü matris boyutlarını, uzamsal çözünürlüğü, piksel derinliğini ve fotometrik gösterimi kapsayan bir "veri başlığı" biçiminde saklanan "meta veriler" olarak adlandırılır.
"Piksel Verileri" Piksel değerinin saklandığı konumdur. Farklı veri türlerine göre, piksel verileri sayısal gösterim için gereken minimum bayt sayısını kullanır ve tam nokta veya kayan nokta formatında saklanır. Görüntü boyutu = veri başlığı boyutu (meta veriler dahil) + satır sayısı, sütun sayısı * piksel derinliği * (görüntü çerçevesi sayısı)
Tıbbi görüntü formatı
Radyolojik görüntüler için 6 ana format vardır: DICOM (Tıpta Dijital Görüntüleme ve İletişim), NIFTI (Nörogörüntüleme Bilgi Teknolojisi), PAR / REC (Philips Manyetik Rezonans Tarama Formatı), ANALYZE (Mayo Medical Imaging), NRRD (Near Original Raster verileri) ve MNIC.
Mayıs 2017 için tıbbi görüntü formatı
Yukarıdaki şekildeki beş format arasında, DICOM ve NIFTI en çok kabul edilenlerdir.
-
DICOM formatının temel içeriği
DICOM, "Tıpta Dijital Görüntüleme ve İletişim" anlamına gelir. DICOM, Ulusal Elektrik Üreticileri Birliği (NEMA) tarafından yayınlanan bir standarttır. Bu standart, tıbbi görüntülemenin yönetimi, depolanması, yazdırılması ve bilgi aktarımını düzenler. Bunlar tarayıcılar veya hastane "tıbbi görüntü depolama ve iletim sistemleridir" ( PACS) dosya formatı. DICOM bir dosya formatı ve bir ağ iletişim protokolü içerir Ağ iletişim protokolü, TCP / IP kullanan tıbbi kuruluşlar arasında iletişim için bir şartname ve kriterdir. Bir DICOM dosyası, bir veri başlığından ve görüntü verilerinden oluşur. Veri başlığının boyutu, veri bilgilerinin miktarına bağlıdır. Veri başlığındaki içerik hasta numarasını, hasta adını vb. İçerir. Aynı zamanda görüntü karelerinin sayısını ve çözünürlüğünü de belirler. Resim görüntüleyicinin resimleri görüntülemek için kullandığı şey budur. Tek bir görüntü alımı olsa bile, birçok DICOM dosyası olacaktır.
Kaynak: https://www.leadtools.com/sdk/medical/dicom-spec1
Pydicom, DICOM dosyalarını okumak için bir Python kitaplığıdır. Ayrıntılar için, lütfen metnin ilk bölümündeki kod örneğine bakın. "Oro.dicom", DICOM verilerini okumak için bir R paketidir.
Sıkıştırılmamış DICOM dosyalarını okumak için oro.dicom araç setini kullanın
-
NIFTI formatının temel içeriği
"Neuroimaging Information Technology Innovation", NIFTI formatını ANALYZE7.5 formatına bir alternatif olarak görür. NIFTI başlangıçta nörogörüntüleme için kullanıldı, ancak diğer bazı alanlara da uygulanabilir. NIFTI'nin ana özelliklerinden biri, her üç boyutlu eleman indeksini (i, j, k) uzamsal konumla (x, y, z) ilişkilendirebilen iki afin koordinat tanımı içermesidir. . Nibabel, nifti dosyalarını okumak için bir arkadaş Python kütüphanesidir ve "oro.nifti", nifti verilerini okumak için bir R araç setidir.
-
DICOM ve NIFTI arasındaki fark
DICOM ve NIFTI arasındaki temel fark, NIFTI'daki orijinal görüntü verilerinin 3D görüntü formatında saklanırken, DICOM'un 3D görüntü parçası formatında saklanmasıdır. NIFTI'nin bazı makine öğrenimi uygulamalarında DICOM'dan daha popüler olmasının nedeni budur çünkü bu bir 3D görüntü modelidir. Tek bir NIFTI dosyasını işlemek, yüzlerce DICOM dosyasını işlemekten çok daha kolaydır. NIFTI'nin her 3B görüntüsünün yalnızca iki dosya saklaması gerekir, DICOM'da ise daha fazla dosya saklamanız gerekir.
-
NRRD formatının temel içeriği
Esnek NRRD formatı, tek bir veri başlığı dosyası ve ayrılabilen ve birleştirilebilen görüntü dosyalarını içerir. Bir NRRD veri başlığı, bilimsel görselleştirme ve tıbbi görüntü işleme için N boyutlu tarama bilgilerini doğru bir şekilde temsil edebilir. "National Medical Image Computing Alliance" (NA-MIC), NRRD formatında "difüzyon ağırlıklı görüntüleri" (DWI) ve "difüzyon tensör görüntülerini" (DTI) temsil etmek için bir yöntem geliştirmiştir. NRRD'nin "difüzyon ağırlıklı görüntü" ve "difüzyon tensör görüntüsü" verileri, tensör görüntünün yönünün nöroanatomik beklentilerle tutarlı olduğunu sezgisel olarak belirleyebilen bir "3D dilimleyici" olarak yorumlanabilir. Bir NRRD dosyasının (veri başlığına sahip) yaklaşık formatı aşağıda gösterilmiştir:
Kaynak
-
MINC formatının temel içeriği
MINC, "Tıbbi Görüntüleme NetCDF Araç Seti" anlamına gelir. MINC dosya formatının geliştirilmesi 1992'de Monterey Nöroloji Enstitüsü'nde (MNI) başladı. Şu anda, McGill'in "Beyin Görüntüleme Merkezi" (BCI) aktif olarak MINC'yi geliştirmektedir. MINC formatının (Minc1) ilk versiyonu standart "Ağ Ortak Formatı" na (NetCDF) dayanır; MINC formatının ikinci versiyonu olan Minc2 ise "Hiyerarşik Veri Formatının Beşinci Sürümü" dür. (HDF5) dayalı. HDF5, sınırsız çoklu veri tiplerini destekler, esnek ve verimli G / Ç ve yüksek kapasiteli, karmaşık veriler için uygundur. Bu yeni özellikler ve işlevler sayesinde Minc2 büyük ve karmaşık veritabanlarını yönetebilir. Bu biçim başlıklarını karşılaştıran bazı araştırma makaleleri şunlardır:
Kaynak: 2014 yılında yayınlanan "Tıbbi Görüntü Formatı"
Biçim dönüştürme
-
DICOM formatından NIFTI formatına dönüştürme
dicom2nii, DICOM formatını NIFTI formatına dönüştürmek için yaygın bir araçtır. NIFTI dosyalarını okumak ve yazmak için bir Python kitaplığı nibabel'dir. DICOM formatını NIFTI formatına dönüştürmek istiyorsanız, dcm2nii gibi birçok otomatik dönüştürme aracı vardır. Python2'nin "dcmstack" i, bir dizi DICOM görüntüsünün çok boyutlu diziler halinde yığınlanmasını sağlar. Bu diziler, "veri başlığı uzantısı" (DcmMeta uzantısı) ile NIFTI dosyaları olarak yazılabilir, burada "veri başlığı uzantısı" aslında bir kopya DICOM dosyası meta verilerinin özeti.
-
DICOM formatından MINC formatına dönüştürme
BIC'in MINC ekibi, DICOM'u MINC görüntülerine dönüştürmek için bir araç geliştirdi Bu program C dilinde yazılmıştır. Github raporunu görüntülemek için bu bağlantıyı tıklayın. NIFTI veya ANALYZE'den MNC formatına dönüştürme BIC'deki MINC ekibi, NIFTI veya ANALYZE görüntülerini MINC görüntülerine dönüştürebilen başka bir araç geliştirdi Bu programa nii2mnc denir. Nii2mnc dahil olmak üzere bir dizi dönüştürme aracını görüntülemek için bu bağlantıya tıklayın.
sonuç olarak
Bu makalede, görüntülemeyi ve derin öğrenmeyi depolamak için kullanılabilecek birkaç format tanıttık. Amacımız, evrişimli sinir ağımızın doğru tahminler yapmasına izin vermek için en iyi formatı kullanmaktır.
Bir sonraki makalede, akciğerleri CT tarama görüntülerinden kesmek için bu formatlardan birinin nasıl kullanılacağını tartışacağız.
