Robust Image Retargeting via Axis-Aligned Deformation Mateusz Bujalski Daniele Panozzo Ofir Weber Olga Sorkine.

Prezentacja na temat: "Robust Image Retargeting via Axis-Aligned Deformation Mateusz Bujalski Daniele Panozzo Ofir Weber Olga Sorkine."— Zapis prezentacji:

1 Robust Image Retargeting via Axis-Aligned Deformation Mateusz Bujalski Daniele Panozzo Ofir Weber Olga Sorkine

2 O co chodzi? Szerokość zdjęcia powiększona dwukrotnie. Mapa „ważności” stworzona za pomocą filtra wykrywającego krawędzie, poprawiona kilkoma maźnięciami. Czas obliczeń: ok. 4ms Czas użytkownika: ok. 30s

3 O co chodzi? Chcemy zmienić rozmiar zdjęcia – Bez zachowania aspect ratio – Bez obcinania fragmentów zdjęcia – I żeby było dość podobne do oryginalnego – Fajnie mieć: realtime

4 Sposoby Większość metod okazuje się być jakąś modyfikacją poniższego schematu – Zdefiniuj funkcję, którą będziesz optymalizował a następnie zminimalizuj ją biorąc pod uwagę ograniczenia rozmiaru obrazu wyjściowego – Z reguły przekształcenia afiniczne + wagi (mapa ważności) + dodatki w celu wyeliminowania artefaktów (np. rozmywanie krawędzi) Istnieje trochę innych, ale często wyspecjalizowanych metod – np. w przypadku tekstur, można „doklejać” pasujące łaty

5 Skupimy się na metodach opartych na warpingu

6 Problem Liczba zmiennych w takich problemach optymalizacyjnych jest kwadratowa względem wymiarów obrazu - O(MxN) No i usuwanie „niepotrzebnych” nie zawsze działa.

7 Problem

8 Spostrzeżenie Autorzy analizując działanie istniejących algorytmów zauważyli, że „niedawne” (w znaczeniu lepsze) algorytmy prawie zawsze używają deformacji, które są wyrównane do osi Brak miejscowych obrotów ma sens, ponieważ, jeśli się miejscami takie obroty różnią to dostajemy dziwne obrazki

9 Trochę wyolbrzymione

10 Wniosek Autorzy uznali, że skoro większość algorytmów nie korzysta z obrotów mimo, że sformułowanie problemu na to pozwala, to przestrzeń „deformacji wyrównanych do osi” jest tą właściwą dla tej operacji

11 Zalety w większości przypadków miejscowe obroty są nieporządane – poprzedni obrazek, dodatkowo czasem obrócony obiekt może kawałkiem wypaść poza zdjęcie (jak na drugim zdjęciu) Złożoność problemu optymalizacyjnego względem liczby zmiennych maleje do O(M+N)

12 Można sobie wyobrazić, że czasem (gdy np. tło jest jednolitego koloru) obrócenie kawałka zdjęcia mogłoby dać lepszy efekt, niż takie przekształcenia Brak gwarancji, że linie proste nie wyrównane do osi pozostaną proste! Wady

13 Wymiary obrazu: W-szerokość, H-wysokość Nakładamy na obraz równomierną kratę N kolumn i M wierszy, każda komórka ma rozmiar: W/N – szerokość, H/M - wysokość Programowanie kwadratowe Algorytm

14 Minimalizujemy wersja ogólna

15 s jest niewiadomą Q i b możemy ustawić jakie chcemy, ale jeśli F(s) jest „dodatnio określona” to możemy użyć standardowych QP solverów

16 Minimalizujemy wersja ogólna L h, L w – minimalne rozmiary wierszy i kolumn

17 Czemu L w i L h są ważne?

18 Minimalizujemy wersja ogólna H L i W L – oczekiwane rozmiary obrazu wyjściowego

19 Minimalizujemy wersja ogólna

20 Przykładowe definicje F(s) Autorzy proponują dwie „najczęściej spotykane” definicje energii ASAP – na podstawie „mapy ważności” stara się, aby zaznaczone obszary były odwzorowane jak najbardziej podobnie (As Similar As Possible) – tylko translacje i równomierne („uniform”) skalowanie ARAP – (As Rigid As Possible) – wszystko poza translacjami i rotacjami jest karane (w naszym przypadku zostają tylko translacje, bo rotacje nie są brane pod uwagę z założenia

21 Przykładowe definicje F(s)

22 ASAP – minimalizacja niejednorodnych skalowań W przestrzeni deformacji wyrównanych do osi przekształcenia podobieństwa ograniczają się do kombinacji jednorodnych skalowań (takie same we wszystkich kierunkach) i translacji, ponieważ rotacje nie są brane pod uwagę z definicji

23 ASAP – przekształcenie do QP

24 Ks – wektor zawierający energie dla wierszy Q = K T K, b = 0 => mamy formułę w postaci QP Q jest dodatnio określona

25 ARAP – wszystko poza translacjami jest karane Wzorki są mało istotne Te dwie energie zostały wybrane tylko dlatego, że pojawiają się często w innych pracach i zwykle dają niezłe rezultaty Podobno nic nie stoi na przeszkodzie, żeby podobnie jak pierwszą zdefiniować inne Można tworzyć z tych energii kombinacje liniowe i dalej jest dobrze

26 Regularyzacja Laplace’a dodatkowa energia, która karze za duże różnice w rozmiarach sąsiednich wierszy/kolumn – przydatne w ręcznie malowanych mapach ważności, które są z reguły mocno skoncentrowane

27 Rezultaty Czas rzeczywisty dla zdjęć HD na laptopie sporo gorszym niż ten (używa 1 core CPU) ASAP z reguły lepszy niż ARAP Eksperymenty z automatycznym generowaniem „map ważności” – cała metoda jest niezależna od rodzaju mapy i można się bawić Dobrze działa tryb pół automatyczny: najpierw metoda generuje nam mapę automatyczną, a potem ją troszkę poprawiamy zaznaczając naprawdę ważne fragmenty

28 Obrazki i działający program na żywo!