Podstawowe tezy i wyniki rozprawy doktorskiej pt. „Algorytmy segmentacji rentgenowskich obrazów mikrotomograficznych stopów tytanu” mgr inż. Łukasz Jopek Promotor pracy: prof. dr hab. inż. Dominik Sankowski Promotor pomocniczy: dr hab. Laurent Babout, prof. PŁ

Plan prezentacji Cel, zakres i motywacja prowadzenia badań Synchrotronowa mikrotomorafia rentgenowska Charakterystyka obrazów Metody określania orientacji kierunkowej tekstury obrazu Metoda wykorzystująca dekopozycję Contourlet / Surfacelet Bank filtrów CHG Algorytm segmentacji obrazów teksturowanych stopów tytanowych Uzyskane Rezultaty Podsumowanie

1. Cel, zakres i motywacja prowadzenia badań Cel pracy: Zasadniczym celem prowadzonych badań jest zrozumienie zależności pomiędzy budową wewnętrznej mikrostruktury materiału, a jego właściwościami mechanicznymi, w szczególności wpływ mikrostruktury na propagację pęknięć Segmentacja α-kolonii Związek pomiędzy budową mikrostrukturalną materiału a jego właściwościami mechanicznymi, zwłaszcza propagacją pęknięć Charakterystyka mikrostruktury (α+β) Segmentacja granic β-ziaren Segmentacja pęknieć Badania mechaniczne Grant NCN

1. Cel, zakres i motywacja prowadzenia badań Obrazy uzyskano w ośrodku ESRF (European Synchrotron Radiation Facility), obrazy zostały wykonane w ramach eksperymentu ME1230, przeprowadzonego na stanowisku badawczym ID19 w ESRF. Był to jeden z elementów współpracy pomiędzy Politechniką Łódzką, którą reprezentował dr hab. Laurent Babout (Instytut Informatyki Stosowanej), a University of Manchester (UK), reprezentowany przez prof. Michael Preuss (School of Materials).

Synchrotronowa mikrotomografia rentgenowska 1. Cel, zakres i motywacja prowadzenia badań Synchrotronowa mikrotomografia rentgenowska Technika bezinwazyjnego badania obiektów 3D Źródłem promieniowania jest synchrotron Promieniowanie synchrotronowe charakteryzuje się specjalnymi własnościami Rozdzielczość przestrzenna wynosi 700nm (0,7µm) Ogólny schemat synchrotronu Ogólny schemat ośrodka ESRF 5

1. Cel, zakres i motywacja prowadzenia badań Stanowisko badawcze

Charakterystyka obrazów 1. Cel, zakres i motywacja prowadzenia badań Charakterystyka obrazów 50µm 50µm Granica β-ziarna Granice α-kolonii 7 7

1. Cel, zakres i motywacja prowadzenia badań α-platki Próbka Ti64 Próbka TI64Al4V Próbka TI6264 Próbka Ti6246 Granica β-ziarna α-platki Granica β-ziarna 8

Tezy pracy: 1. Cel, zakres i motywacja prowadzenia badań Teza 1: Możliwe jest opracowanie algorytmu segmentacji obrazów teksturowanych dwufazowych (α + β), krystalicznych, stopów tytanowych, pozwalającego uzyskać satysfakcjonujące wyniki segmentacji Teza 2: Zastosowanie opracowanego w rozprawie banku filtrów kierunkowych CHG (komplementarny filtr klepsydrowy) poprawia jakość segmentacji w porównaniu z metodą referencyjną.

2. Metody określania orientacji kierunkowej tekstury obrazu Detekcja kierunku oparta o bank filtrów kierunkowych. Transformata Contourlet : Bank filtrów kierunkowych Trasformata Contourlet znajduje szerokie zastosowanie, zwłaszcza do odszumiania i kompresji obrazów. Graficzna reprezentacja dekompozycji obrazu za pomocą banki filtrów kierunkowych Ogólny schemat dekompozycji Contourlet

2. Metody określania orientacji kierunkowej tekstury obrazu Detekcja kierunku oparta o bank filtrów kierunkowych. Transformata Surfacelet: Bank filtrów kierunkowych Transformata Surfacelet jest rozwinięciem transformaty Contourlet do n-wymiarowej przestrzeni. Dekompozycja sygnału za pomocą filtrów kierunkowych odbywa się w dziedzinie częstotliwości Graficzna reprezentacja podziału przestrzeni za pomocą filtrów Schemat dekompozycji (dla 1 poziomu) Detekcja kierunku za pomocą dekompozycji Contourlet / Surfacelet: (Wersja 2D) (Wersja 3D) Gdzie : - piksel obrazu wyjściowego o współrzędnych i,j / - piksel obrazu wyjściowego o współrzędnych i,j,k -n-ty komponent dekompozycji, to liczba kierunków podstawowych

Detekcja kierunku oparta o bank filtrów kierunkowych. Bank filtrów CHG 2. Metody określania orientacji kierunkowej tekstury obrazu Detekcja kierunku oparta o bank filtrów kierunkowych. Bank filtrów CHG Parametry filtru: n – wektor kierunkowy filtru α – rozdzielczość kierunkowa filtru w – rozmiar maski w

2. Metody określania orientacji kierunkowej tekstury obrazu Filtr CHG jest filtrem działającym w dziedzinie przestrzeni. Filtracja sygnału odbywa się poprzez wykorzystanie operatora konwolucji. Sygnał wejściowy jest filtrowany osobno przez każdy, składowy filtr banku. Wynikiem jest n obrazów, gdzie n to liczba kierunków podstawowych. W przypadku obrazów 2D jest to 8 kierunków, w przypadku obrazów 3D liczba ta wynosi 13. Gerenowanie maski filtru: Wybór parametru filtru: rozmiar maski, kierunek, rozdzielczość kierunkowa Wyznaczanie wartości poszczególnych elementów maski w oparciu o wyżej wymienione, trzy parametry Wypełnianie maski: Gdzie: -kąt pomiędzy płaszczyzną P, a wektorem u. Wektor kierunku jest wektorem normalnym płaszczyzny P. - kąt wyznaczający rozdzielczość kierunkową filtru Detekcja kierunku za pomocą banku filtrów CHG: (Wersja 2D) (Wersja 3D) Gdzie : - piksel obrazu wyjściowego o współrzędnych i,j / - piksel obrazu wyjściowego o współrzędnych i,j ,k -n-ty komponent banku filtrów, to liczba kierunków podstawowych

Detekcja kierunku oparta o bank filtrów kierunkowych. Bank filtrów CHG 2. Metody określania orientacji kierunkowej tekstury obrazu Detekcja kierunku oparta o bank filtrów kierunkowych. Bank filtrów CHG [-1 1 ] 2D [0 1 ] [1 1 ] Obraz wejściowy [0 0 ] [1 0 ] [0 1 ] [1 -1 ] [1 1 ] 3D [-1 1 1] [0 1 1] [1 1 1] [0 0 1] [1 0 1] Obraz wejściowy [0 1 0] [1 -1 1] [1 1 0] [1 -1 0] [0 1 -1] [1 0 -1] [1 0 0] [1 1 -1]

2. Metody określania orientacji kierunkowej tekstury obrazu - metoda referencyjna Przykładowe rezultaty detekcji kierunku za pomocą metody opartej o gradient jasności: a) Obraz wejściowy, b) okno = 5x5, c) okno =15x15, d) okno=25x25. e) Wynik segmentacji w oparciu o algorytm wododziałowy f) Wynik segmentacji w oparciu o wartości własne macierzy kowariancji: e) f)

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Schemat blokowy głównego algorytmu segmentacji Przetwarzanie wstępne Detekcja kierunku 3D Binaryzacja obrazu Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Obraz wyjściowy

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok wstępnego przetwarzanie obrazu: Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy Jego celem jest odszumienie obrazu oraz wzmocnienie Kontrastu elementów tekstury tworzących α-płatki Odszumienie realizowane jest za pomocą filtru medianowego 3D z maską o rozmiarze 3x3x3 woksele Wzmocnienie kontrastu odbywa się następująco (dla obrazów 2D): gdzie: A – obraz wejściowy , po odszumieniu, B – binarna wersja obrazu A, C – obraz wyjściowy, (A, B i C mają takie same rozmiary).

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok usuwania tla Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy Jego celem jest usunięcie z obrazu pikseli reprezentujących Fazę β (ciemne obszary pomiędzy α-płatkami.) Obywa się to następująco: gdzie: - Obraz po usunięciu tła, A – obraz wejściowy, B – binarna wersja obrazu A. a) b) Obraz po detekcji kierunku za pomocą metody CHG Obraz po detekcji kierunku za pomocą metody CT Obraz (a) po usunięciu tła Obraz (b) po usunięciu tła c) d)

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok odszumiania Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy Odszumianie polega na przypisaniu do każdego woksela klasy „obiekt” wartości dominującej w jego otoczeniu. Otoczenie to obszar o rozmiarze WxW lub WxWxW ( zazwyczaj 21<W<31 ) Posiada jednak pewną wadę : bardzo długi czas przetwarzania, rzędu kilku godzin. Im większy obraz lub rozważane otoczenie woksela (W), tym dłuższy czas przetwarzania. Dlatego zaproponowano metodę alternatywną wykorzystująco operator konwolucji gdzie: I – obraz po usunięciu tła m – ilość klas h – maska konwolucyjna o rozmiarze WxW (WxWxW)

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok klasyfikacji I-poziomu Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy Jego celem jest rekonstrukcja obiektów reprezentujących α-kolonie na podstawie wykrytych α-płatków. Obywa się o przy wykorzystaniu transformaty dystansu. Obraz po odszumianiu Obraz po klasyfikacji I-poziomu

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok klasyfikacji II-poziomu Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy Z czego wynika potrzeba zastosowania Klasyfikacji II-poziomu ? A B C D E

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok klasyfikacji II-poziomu (wersja dla obrazów 2D) Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok klasyfikacji II-poziomu (wersja dla obrazów 3D) Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy

3. Algorytm segmentacji obrazów teksturowanych stopów tytanu Blok klasyfikacji II-poziomu Przetwarzanie wstępne Detekcja kierunku 2D Usuwanie tła Odszumianie I-poziom klasyfikacji II-poziom klasyfikacji Binaryzacja obrazu Obraz wyjściowy Obraz po I etapie klasyfikacji CHG CT Obraz po II etapie klasyfikacji

4. Uzyskane Rezultaty – miary oceny jakości Mierniki jakości segmentacji: analizują poprawność segmentacji na podstawie zgodności krawędzi obiektów. W tym przypadku krawędzie odpowiadają granicą pomiędzy α-koloniami . Mierniki pochodzące z literatury: Miernik FOM [1]: Gdzie : NI – liczba pikseli krawędzi obrazu wzorcowego NF – liczba pikseli krawędzi obrazu rzeczywistego β – parametr skalujący, zazwyczaj wynosi 1/9. d – mapa odległości pikseli granic rzeczywistych od pikseli granic wzorcowych Miernik E [2]: zbiór pikseli krawędzi obrazu wzorcowego zbiór pikseli krawędzi obrazu po segmentacji [1] W. K. Pratt, "Digital image processing", John Wiley & Sons, 1978, p. 429-432 [2] L. Ma and R. C. Staunton, "A modified fuzzy C - means image segmentation algorithm for use with uneven 25 illumination patterns," Pattern Recognition, vol.40, pp. 3005-3011, 2007.

4. Uzyskane Rezultaty – miary oceny jakości Miara własna (MW): - Liczba pikseli poprawnie sklasyfikowanych - Liczba pikseli niepoprawnie sklasyfikowanych - parametr (pozwala regulować wpływ odległości pikseli niepoprawnie sklasyfikowanych) - mapa odległości : Mapa dystansu: piksele zaznaczone na czerwono oznaczają piksele prawidłowych granic, piksele innych kierunków oznaczają elementy nieprawidłowo wykryty krawędzi, czyli granic.

4. Uzyskane Rezultaty – Odporność na szum

4. Uzyskane Rezultaty – Ocena wpływu kontrastu na wyniki segmentacji

4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 2D

4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 2D W porównaniu z metodą referencyjną uzyskane wyniki są średnio lepsze o: Dla metody opartej o dekompozycję Contourlet: Miara FOM: o 18,5% Miara E: o 7% Miara MW: o 16% Dla metody opartej o bank filtrów CHG: Miara FOM: 20% Miara E: 17% Miara MW: 20,1%

4. Uzyskane Rezultaty – Ocena jakościowa - obrazy 2D Obraz wejściowy wzorzec II stopnień CHG II stopień CT 20 XZ 124 XY 311 XY

4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 3D Algorytm wykorzystujący bank filtrów CHG Obraz FOM E MW 1 XZ 0.62 0.39 124 XY 0.64 0.29 180 YZ 0.67 0.24 25 YZ 0.51 0.38 0.49 80 YZ 0.63 0.47 0.58 250 XY 0.48 0.41 250 XZ 0.53 0.52 400 YZ 0.56 0.55 300 YZ 0.46 0.5 499 YZ 0.43 0.6 Algorytm wykorzystujący dekompozycję Surfacelet Obraz FOM E MW 1 XZ 0.32 0.52 0.42 124 XY 0.44 0.51 180 YZ 0.5 0.31 0.63 25 YZ 0.4 0.58 80 YZ 0.64 0.41 250 XY 0.48 0.43 250 XZ 0.29 0.79 0.27 400 YZ 0.36 0.69 0.3 300 YZ 0.66 0.46 499 YZ 0.67

4. Uzyskane Rezultaty – Ocena ilościowa - obrazy 3D Rezultaty segmentacji obrazów 3D CHG CT

4. Uzyskane Rezultaty – Ocena jakościowa 4. Uzyskane Rezultaty – Ocena jakościowa. Problem oceny jakości segmentacji w kontekście badania wpływu mikrostruktury na rozwój szczeliny Rezultat po odszumianiu Rezultat po I-poziomie klasyfikacji Obraz tomograficzny szczelina

4. Uzyskane Rezultaty – Ocena jakościowa 4. Uzyskane Rezultaty – Ocena jakościowa. Problem oceny jakości segmentacji w kontekście badania wpływu mikrostruktury na rozwój szczeliny szczelina α-kolonie z wyznaczoną orientacją kierunkową

Wnioski / podsumowanie Zaproponowane metody segmentacji pozwalają na satysfakcjonującą segmentację obrazów krystalicznych stopów tytanowych (Teza 1) Banki filtrów CHG pozwalają na analizę orientacji kierunkowej tekstury Algorytm oparty o bank filtrów CHG pozwala osiągnąć najlepsze rezultaty, zarówno w przypadku 2D oraz 3D, w porównaniu z pozostałymi, zaproponowanymi metodami (Teza 2). Algorytm zarówno w wersji 2D jak i 3D (i przy wykorzystaniu banku filtrów CHG) pozwala na przeprowadzenie procesu segmentacji w akceptowalnym czasie

5. Literatura 1. Babout L., Jopek Ł., Janaszewski M., Preuss M., Buffere J. : Towards the texture segmentation of X-ray topography images of lamellar microstructure in titanium base alloys, Przebieg Piątego Międzynarodowego Sympozjum Tomografii Procesowej, Zakopane 2008, s. 168-173 2. Jopek Ł., Postolski M., Nowotniak R., Babout L., Janaszewski M. : Zastosowanie kwantowych algorytmów genetycznych do selekcji cech, Przetwarzanie i analiza sygnałów w systemach wizji i sterowania, Zeszyty naukowe AGH „Automatyka”, 2009 , pp 1219:1232 3. Janaszewski M., L. Babout., Postolski M., Jopek Ł.: Zamykanie otworów w trójwymiarowych obiektach wolumetrycznych. Zeszyty Naukowe AGH, Automatyka 2009, pp. 865-878, 2010. 4. Janaszewski M., L. Babout., Postolski M., Jopek Ł.: Segmentacja otworów w obiektach wolumetrycznych. Zeszyty Naukowe AGH, Automatyka 2009, pp.855-864, 2010. 5. Jopek Ł., Babout L., Janaszewski M., Postolski M.:A new method to segment X-ray tomography images of lamellar, Zeszyty Naukowe AGH “Automatyka, 2010, pages: 301:315 6. Postolski M., Janaszewski M.,Jopek Ł.,Babout L..: 3D skeletonization of pulmonary airway tree structures “Automatyka, 2010 7. Jopek Ł., Babout L., Janaszewski M., Postolski M.: Nowa metoda segmentacji obrazów stopów tytanowych, wykonanych za pomocą tomografii rentgenowskiej, wykorzystująca transformatę Contourlet, Zeszyty Naukowe AGH ‘Automatyka’ 2011, pages: 161-176 8. Postolski M., Janaszewski M., Jopek Ł., Babout.: Wyznaczanie kierunku stycznej do dowolnego punktu trójwymiarowej krzywej wolumetrycznej w ilościowej analizie ludzkich drzew oskrzelowych, Zeszyty Naukowe AGH ‘Automatyka’ 2011 pp: 219:234 9. Janaszewski M., Postolski M., Babout L., Jopek Ł.: Zamykanie topologicznych i wolumetrycznych otworów w obiektach 3D, Zeszyty Naukowe AGH ‘Automatyka’ 2011, 10. Jopek, Ł., Babout, L., Janaszewski, M.: A new method to segment x-ray microtomography images of lamellar titanium alloy based on directional filter banks and gray level gradient. Computer Vision and Graphics, volume 7594 of Lecture Notes in Computer Science. Springer Berlin Heidelberg. ISBN 978-3-642-33563-1, pages 105–112. 11. Jopek Ł., Babout L., Janaszewski M., Postolski M.:"Multistage segmentation of lamellae colonies based on directional filter bank and PCA analysis", Image Processing & Communications, Volume 17, Issue 4, Pages 93–102, ISSN 1425-140X 12.  Babout L., Jopek Ł, Janaszewski M.:A New Directional Filter Bank for 3D Texture Segmentation: Appli-cation to Lamellar Microstructure in Titanium Alloys, The 13th IAPR Conference on Machine Vision Applications (MVA 2013) 13. Babout L., Jopek Ł, Janaszewski M.: Extraction of complex microstructural pattern in X-ray microtomography images: application to lamellar titanium alloy, 7th World Congress on Industrial Process Tomography, WCIPT7, 2-5 September 2013, Krakow, Poland, pages:703-711 ISBN: 978 0 85316 323 7

Dziękuje za uwagę