Texture Based MRI Segmentation with a Two-Stage Hybrid Neural Classifier.

Prezentacja na temat: "Texture Based MRI Segmentation with a Two-Stage Hybrid Neural Classifier."— Zapis prezentacji:

1 Texture Based MRI Segmentation with a Two-Stage Hybrid Neural Classifier

2 Autorzy w swojej pracy proponują automatyczną metodę do pozyskiwania struktur anatomicznych w MRI opierając się na klasyfikacji tekstur. Metoda ta składa się z dwu etapów. Na początku tekstury MRI otrzymanego na wejściu są klasyfikowane przez sieć ASN(adaptive spline neurons)

3 Otrzymanym wynikiem karmimy drugą sieć neuronową, której celem jest lepsze skontrastowanie struktury i eliminacja pomyłek pierwszej fazy poprzez lokalną analizę kształtów i tekstur i dokładnie zaplanowany proces uczenia.

4 Segregacja(segmentation) obrazu czyli podział jego pikseli na rozłączne regiony jest głównym celem komputerowego przetwarzania obrazu. Efektywna identyfikacja i nazwanie anatomicznych struktur w możliwie skomplikowanym MRI wydaje się być wyzwaniem, dając dużą ilość kształtów każdej anatomicznej struktury. Dostając obrazy o słabym kontraście i raczej słabej rozdzielczości, większa część zadań segregacji opiera się na informacji o kształcie.

5 Czasem używane jest klasyfikowanie tkanek jako pre-processing ułatwiający segregację. Jednak klasyfikator tkanek zwykle dzieli wejściowe voxele na 4 rodzaje(istota szara, istota biał, płyn mózgowo rdzeniowy i inne) niezależnie od struktury celu.

6 Kiedy eksperci neurologii ręcznie określali te struktury używali oni tekstur aby poprowadzić podział. Przykładowo nawet jeśli fornix i corpus callosum składają się z istoty białej inne skierowanie włókien prowadziło do tego, że używali innych tekstur.

7 Praca ta problem wyodrębniania struktury anatomicznej opiera na użyciu informacji o teksturze. Etap pierwszy Używamy hybrydowego master classifier lub neuronowej architektury mixture of experts w połączeniu z adaptive spline neurons(ASN) aby zaklasyfikować tekstury wejściowego MRI. Początkowe wagi funkcji aktywacji ASN są obliczane przez podział a priori opisujący wybiórczość i odpowiedniość zbioru filtrów tekstur.

8 Etap drugi Używamy teraz dużej sieci neuronowej aby dalej powiększyć kontrast wyniku i poprawić możliwe pomyłki pierwszego etapu. Ten osobny etap pozwala nam na zaprojektowanie zbioru uczącego skoncentrowanego na rozróżnieniu pomiędzy chcianymi teksturami a resztą.. Wykorzystuje to także większe otoczenie do tego aby podnieść jakość segregacji używając informacji o intensywności z pobliskich struktur.

9 O liczbie deskryptorów dla tekstur pisano już w literaturze. Jak każdy deskryptor ma swoje słabości i mocne strony, łączy je jednak poprawianie klasyfikacji. Będziemy używać linear discriminant analysis(LDA) aby ocenić dużą liczbę deskryptorów tekstur na bazie treningowej i pomóc wybrać tylko te najbardziej odpowiednie. Aby utworzyć bazę treningową dla każdej anatomicznej struktury, która miała zostać segmentowana połączyliśmy serię MR obrazów razem z ich ręcznie segmentowanymi obrazami. Użyliśmy następnie metody Wilksa aby znaleźć najskuteczniejsze z funkcji dyskryminacji(minimalizowanie wskaźnika lambda).

10 Przedstawię teraz krótki opis tych deskryptorów zanim przejdziemy do szczegółów jak je połączymy. co-occurences matrices discrete cosine transform filtry Gabora local Holder exponent

11 Hybrid master classifier / mixtures of experts architecture Dla każdego piksela wejściowego MRI rozważamy otaczające go okno 5x5 pikseli i normalizujemy intensywności przez odejmowanie tego centralnego piksela od pozostałych przed zastosowaniem różnych filtrów tekstur. Raz obliczone, cechy tekstur mogą być połączone na kilka sposobów:

12 1. mogą być skonkatenowane w jeden wektor a potem klasyfikowane wszystkie razem 2. Każda cecha może być klasyfikowana oddzielnie a wyniki potem połączone 3. Może być użyty master classifier do sklasyfikowania rezultatów kilku slave classifierów 4 Niezależny classifier decyduje który classifier zapewni końcowy wynik.

13 Mieszanki algorytmów ekspertowych mogą być używane do rozwiązania sprawy selekcji cech. Składają się z jakiejś liczby ekspertów, którzy otrzymują ten sam wektor cech i modułu decyzyjnego (the gate) z jednym wyjściem na eksperta. Teraz i-te wyjście bramy (the gate) reprezentuje pewny wybór i-tego eksperta.

14 Będzie teraz użyta architektura sieci neuronowych, która łączy architekturę mieszanki algorytmów ekspertowych i master classifier(rys 1). Autorzy proponują sieć składającą się z N=4 sieci ekspertowych, gate G która otrzymuje wejście bezpośrednio z MRI i master classifier w formie 2 warstwowego perceptronu feed forward(MLP). Jako liczbę wyjść każdego filtru tekstur używamy tej samej liczby neuronów w warstwie ukrytej każdego eksperta aby znormalizować wektor cech.

15

16 Aby wziąć to co najlepsze z obu architektur używamy ASN(adaptive spline neurons) zamiast standardowych(sigmoid activated) do warstwy wejściowej sieci master classifier.

17 Proces uczenia. Dla każdej struktury anatomicznej do segmentowania zbiór uczący składa Się z serii MR image razem z ręcznymi rysunkami struktur. Wybierzemy losowe punkty w rysunkach i upewniamy się, że liczba punktów należących do docelowej struktury jest mniej więcej taka sama jak punktów do niej nie należących.

18 Proces uczenia składa się z 3 faz: Zastępujemy master classifier przez 2 etapową mieszankę ekspertów. Wtedy trenujemy sieć.używając zmodyfikowanej wersji algorytmu EM (expectation maximization). Master classifier z ASN jest trenowany by limitować zachowanie 2-etapowej mieszanki ekspertów gdy otrzymuje wejście z sieci ekspertowej i bramy. Cała sieć jest ponownie trenowana przez algorytm gradientowy (używamy współczynnika uczenia u, gdzie u jest małe dla ekspertów i bramy a duże dla master classifier)

19 Faza 3 pozwala nam wyspecjalizować master classifiera z ASN( i dzięki temu poprawić działanie klasyfikacji) i ciągle poprawiać mieszankę ekspertów. Początkowe funkcje aktywacji i wagi ASN w fazie 2 są ustawione na odzwierciedlanie pewności a priori w odpowiadającym selektorze cech. Używamy wyników LDA do obliczenia pewności rozdzielania. Początkowa funkcja aktywacji przybiera formę funkcji sigmoidalnych i składa się z 11 punktów kontrolnych, a i b są obliczane z współczynników funkcji dyskryminacji znalezionych przez LDA.

20 B. Lokalna analiza tekstur/kształtów przez dużą sieć neuronową. Pierwszy etap klasyfikacji używa informacji o teksturze w wejściowym MRI w bardzo lokalny sposób: okno 5x5 jest używane do obliczenia cech tekstury a punkty są rozważane niezależnie od siebie. Dzięki temu potrzeba drugiej klasyfikacji, której celem jest 1.przeglądanie większego otoczenia każdego punktu i używanie pobliskich struktur aby pomóc w segmentacji. 2.Poprawienie możliwych pomyłek pierwszego etapu 3.Uporządkowanie kształt i tekstury wyjścia.

21 Multi scale architecture Autorzy używali dużej sieci neuronowej ze standardowymi neuronami sigmoidalnymi Większe podokno i dwie większe jego wersje (skala 1.5 i 3) poddajemy działaniu warstwy ukrytej. Zaadoptowano input connection pattern często używany w rozpoznawaniu mowy i znaków. Składa się on z 3 rozłącznych części, każdy z 9 neuronami. Pierwszy blok jest zwrócony ku pionowym paskom (każdy z 9 neuronów w tej warstwie ukrytej jest jest połączony z 9 neuronami w warstwie wejściowej) Analogicznie drugi blok. Trzeci jest zwrócony ku podregionom wejściowym 3x3.

22 Te wyspecjalizowane grupy neuronów są odpowiedzialne za wykrywanie cech lokalnych i względnych pozycji pobliskich struktur. Bloki są ściśle połączone z drugą warstwą ukrytą (20 neuronów) połączoną z wyjściem

23

24 Learning process: Główny problem sieci neuronowych gdy używane są jako klasyfikatory leży w ich braku dobrej zdolności odrzucania: sieć neuronowa musi przypisać każdy wejściowy wektor cech do jakiejś klasy, nawet jeśli niektóre wektory mogą nie należeć do żadnej z wyuczonych klas. Podczas fazy nauki granice klasyfikacji konstruowane są w taki sposób, że mogą zależeć jedynie od przykładów w zbiorze uczącym. W naszym przypadku jest łatwo jest wybrać wzorce należące do zbioru tekstur anatomicznej struktury celu a trudniej dać reprezentanta zbioru nie należącego do niego.

25 Używając drugiej klasyfikacji tekstur możemy zaprojektować zbiór uczący leżący wzdłuż granicy klasyfikacji. Umieszczamy w zbiorze uczącym 90% punktów źle sklasyfikowanych z wyjścia etapu I i taką samą liczbę poprawnie zaklasyfikowanych wziętych z całego zbioru obrazów.

26

27 Rysunek 4 ilustruje jedną z rzeczy o które autorom chodzi. Na rysunku 4b fornix, który nie jest częścią corpus callosum, nie został w fazie pierwszej poprawnie usunięty ponieważ jego tekstura jest podobna do corpus callosum. Dopiero drugi etap usuwa fornix i dodatkowo wygładza kontury callosum.

28 Results Najpierw algorytm zastosowany był do segmentacji corpus callosum, caudate nucleus i hippocampus w MRI. Dla każdej struktury zbiór uczący składał się z 5 zbiorów MRI mózgu wziętych od 5 osób.

29 Na rysunku (rys 5) widzimy rezultaty każdego etapu dla trzech rysunków testowych. W tabeli mamy średnie stosunki poprawnie sklasyfikowanych pikseli do liczby wszystkich pikseli wyliczone dla 10 różnych przykładów testowych.

30

31 Następnie porównaliśmy architekturę hybrydową etapu pierwszego z wyspecjalizowaną mieszanką ekspertów(SME) bez master classifier. W tabeli mamy rezultaty każdego etapu. Jeśli porównamy otrzymane wyniki zobaczymy, że lepsze wyniki daje architektura hybrydowa.

32

33