Rectangling panoramic images via warping Mateusz Bujalski

Plan prezentacji Co to jest warping? Opis głównego algorytmu – Local warping Co to jest seam carving? – Global warping Rezultaty i porównanie wyników

Co to jest warping (bez dodatków)? Przekształcenie obrazu, w którym definiujemy funkcję przesuwającą piksel (bez żadnych zmian koloru) w inne miejsce – u,v f(u,v) = (x, y)

Co to jest warping (bez dodatków)? – Korekcja dystorsji – Fajne efekty

Problem Nie bardzo się taki obrazek ludziom podoba z reguły, szczególnie w albumie

Problem Ten jest lepszy?

Problem Wg badań statystycznych na próbce 10 osób przeprowadzonych przez autorów pracy, ludziom mniej przeszkadzają zniekształcenia obrazu (dystorsja) spowodowana algorytmem, niż artefakty wprowadzane przez algorytmy content-aware fill

Problem Dodatkowe drzewko i budynek na niebie?

Opis algorytmu Dwie fazy: – Local warping – Global warping

Local warping

Local warping Drobna modyfikacja algorytmu seam carving Modyfikacja polega na pozwoleniu, aby szew nie przechodził przez cały obraz

Na czym polega seam carving? Algorytm powstał w celu zmniejszania obrazków na potrzeby małych wyświetlaczy bez obcinania i skalowania Polega na znajdowaniu tzw. szwów – ścieżki złożonej z pikseli idących przez cały obrazek o najmniejszej wartości

Na czym polega seam carving?

Zaczynamy od obliczenia funkcji energii

Na czym polega seam carving? Wybieramy szew o najmniejszej energii (z reguły)

Na czym polega seam carving? To samo, tylko na oryginalnym obrazku

Na czym polega seam carving? Iterujemy wycinanie najmniej potrzebnych szwów do skutku

Na czym polega seam carving? Skoro można szwy usuwać, to można też wstawiać!

Local warping Wyznaczamy ramkę obrazka (bounding box) w postaci prostokąta Definiujemy odcinek brzegowy jako sekwencję brakujących pikseli na krawędzi docelowej ramki Iterujemy, aż do wypełnienia całego obrazka: – Wybieramy najdłuższy odcinek brzegowy w danej iteracji – Wstawiamy szew w podobrazku za pomocą seam carving W podobrazku mogą znajdować się brakujące piksele, więc przypisujemy im duży koszt, żeby uniknąć ich przesuwania

Local warping – nieco matematyczniej – Obliczamy displacement field u=(u x, u y ) – Warping obrazka wejściowego: I out (x) = I in (x+u(x)) Obrazek (ii): Na prawo od szwu, przesuwamy piksele o jeden w prawo, reszta się nie rusza, w powstałą dziurę wstawiamy szew I out (x,y) = I in (x – 1, y) – przesunięcie pikseli w prawo

Jeszcze raz Na zdjęciu zaznaczone wszystkie szwy. Widać, że powstało trochę nieakceptowalnych deformacji

Nakładamy siatkę

Warpujemy w drugą stronę Używając displacement field: u, wracamy wierzchołkami siatki do pierwotnych pozycji pikseli

Global warping A tutaj opowiem trochę o optymalizacji

Global warping Potrzebujemy funkcji, która: – Wymusi na siatce prostokątny kształt obrazka – wierzchołki na krawędzi obrazka oryginalnego, muszą trafić na krawędź docelową – Funkcja będzie zachowywać kształty i linie proste

Global warping Oznaczenia: – Siatka: V = { v i }, gdzie v i = (x i,y i ) – pozycja wierzchołka siatki – V in – siatka wejściowa – V – siatka wyjściowa – ten parametr optymalizujemy

Global warping Zachowanie kształtów: – Jak wiemy translacja, obrót oraz skalowanie zachowują kształt – E s definiuje funkcję energii, która jest niska, jeśli czworokąty definiujące siatkę przechodzą transformacje jak najbliższe wymienionym trzem – N – liczba czworokątów w siatce – Zhang et All w 2009 roku wymyślił poniższy wzór: x 0,..,x 3,y 0,...,y 3 – współrzędne wierzchołków czworokąta wyjściowego Z daszkami – współrzędne wierzchołków czworokąta wejściowego

Zachowanie kształtów - uzasadnienie Nie bijcie jeśli okaże się, że nie pamiętam algebry: – (A q T A q ) -1 = A q -1 (A q T ) -1 = A q -1 A q (ostatnie przy założeniu, że macierz A q jest ortogonalna, czyli np. translacja, obrót… – A q A q -1 (A q A q T ) = zał. j.w. = A q A q -1 I = I – Czyli w przypadku, gdy macierz A q, jest ortogonalna, czyli w przypadku translacji, obrotu, skalowania składnik się zeruje. Gdyby wszystkie czworokąty przechodziły tylko takie transformacje, to E s (V) = 0

Global warping Zachowanie prostych i równoległych linii: – Wykrywamy linie w obrazku wejściowym (oryginalnym) – Przecinamy wszystkie linie krawędziami siatki wejściowej, żeby każdy powstały odcinek był całkowicie wewnątrz dokładnie jednego czworokąta (po ludzku, jak linia przechodzi przez dwa czworokąty, to dzielimy ją na dwie części) – Dyskretyzujemy kierunek linii [-pi/2, pi/2] wg 50 kubełków – Zapewniamy (poprzez optymalizację), że wszystkie proste z danego kubełka (ale różnych czworokątów) dostają wspólny kąt obrotu

Global warping Zachowanie prostych i równoległych linii (oznaczenia) – Dla każdego odcinka j, e j – wektor kierunku tego odcinka – q(j) – czworokąt zawierający odcinek j – m – numer kubełka – N L – liczba odcinków – θ m – kąt obrotu kubełka m

Global warping Warunki brzegowe – L/R/T/B – left/right/top/bottom – wierzchołki brzegowe wejściowej siatki – w/h – szerokość/wysokość docelowego prostokąta – Chcemy przyciągnąć wierzchołki brzegowe siatki na obrazku oryginalnym, na brzeg obrazka docelowego – Wymuszamy tylko jedną współrzędną, nie chcemy wepchnąć wszystkich do rogów

Global warping Całkowita energia: – λ L, λ B – wagi – Ustawiamy λ B na dużą wartość np. (10 8 ) – λ L – w eksperymentach wyszło, że >= 10 działa dość dobrze – parametr mówiący jak bardzo chcemy zachowywać linie, to odzwierciedla pogląd autorów, że ludzkie oko jest bardziej wrażliwe na pokrzywione linie niż zniekształcone kształty

Optymalizacja E Inicjalizujemy wynikiem lokalnego warpingu (regularna siatka) 10 iteracji poniższego algorytmu: – Ustaw θ m i zaktualizuj V – w tym wypadku E jest funkcją kwadratową względem V i może zostać zoptymalizowana przez rozwiązanie układu równań liniowych (V ustawione na 400 wierzchołków ponoć działa dość szybko) – Ustaw V i zaktualizuj θ m – Ponieważ wszystkie θ m są niezależne względem siebie, możemy je optymalizować osobno:

Rezultaty i porównanie wyników

Problemy Za duże braki w obrazku powodują widoczne skrzywienia

Pytania?

Dziękuję za uwagę!