NTFS.

Prezentacja na temat: "NTFS."— Zapis prezentacji:

1 NTFS

2 Wymagania Przechowywanie danych
NTFS stosuje model transaction-processing dla przechowywania i dostępu do danych Wszystkie operacje zapisu są traktowane jako atomowe Operacje mają właściwości ACID: Atomicity, Consistency, Isolation, Durability

3 Wymagania - cd Bezpieczeństwo Oparte o model bezpieczeństwa Windows NT
Każdy otwarty plik jest traktowany jako obiekt z deskryptorem bezpieczeństwa zapisanym na dysku jako część pliku Windows NT sprawdza, czy proces ma prawo dostępu do pliku przed jego otwarciem

4 Wymagania - cd Redundantność danych i odporność na awarię
Odporność na awarię zapewnia warstwowy model sterowników (HAL) Windows NT NTFS komunikuje się ze sterownikiem dysku sztywnego bezpośrednio poprzez sterownik tolerancji awarii (fault tolerant). Implementuje on kopie lustrzaną (mirroring, RAID 0) oraz przeplot z kontrolą parzystości (striping with parity, RAID 5)

5 Wymagania - cd Duże dyski, duże pliki
NTFS wykorzystuje adresy 64-bitowe do adresowania klastrów, co zapewnia rozróżnienie 264 klastrów o rozmiarze do 64 kB każdy Każdy plik może zawierać do 264 bajtów danych

6 Wymagania - cd Dodatkowo Wielostrumieniowość
Nazwy plików wykorzystujące symbole unikodu Spójna indeksacja atrybutów plików Dynamiczna realokacja danych z klastrów uszkodzonych (bad-cluster remapping, hot fix)

7 Budowa wewnętrzna NTFS (jak i inne systemy plików) składają się ze sterowników urządzeń (procedur obsługi) pracujących w trybie jądra

8 Budowa wewnętrzna-schemat

9 Sterownik NTFS Współpracuje z trzema innymi komponentami Windows NT
Log file service – obsługuje dziennik zapisów na dysku Cache manager – obsługuje pamięć podręczną dla całego systemu plików Virtual memory manager – wykorzystywany przez sterownik dysku np.. wtedy, gdy dane dane z pliku nie znajdują się w pamięci podręcznej

10 NTFS i komponenty

11 Plik w NTFS Wykorzystując model obiektów Windows NT NTFS traktuje każdy plik jako obiekt Pozwala to zarządzać plikiem wykorzystując zarządcę obiektów (object manager)

12 Struktura NTFS

13 Struktura dyskowa Wolumen – logiczna partycja dysku, utworzona podczas formatowania dysku lub część dysku przeznaczona dla NTFS Dysk może zawierać jeden lub więcej wolumenów, wolumen może rozciągać się na wiele dysków Wolumen zawiera wszystkie dane systemu plików (pliki, katalogi, ...)

14 Struktura dyskowa-przykład

15 Klaster Podstawowa jednostka przechowująca dane alokowana przez system plików Rozmiar kB Rozmiar klastra jest całkowitą wielokrotnością (zawsze potęga liczby 2) rozmiaru sektora

16 Klaster i sektor

17 Numeracja klastrów NTFS wykorzystuje logiczny numer klastra (LCN) oraz wirtualny numer klastra (VCN) LCN numeruje klastry wolumenu od jego początku do końca (0...m) VCN numeruje klastry przechowujące informacje danego pliku

18 Nadrzędna tablica plików Master file table(MFT)
NTFS wszystkie dane, włącznie z metadanymi, przechowuje w plikach MFT jest zaimplementowana jako tablica rekordów. Każdy rekord opisuje dokładnie jeden plik z tablicą MFT włącznie Metaplik zawiera informacje wykorzystywane do implementacji struktury systemu plików

19 MFT NTFS znajduje fizyczny adres rekordu tablicy MFT z pliku rozruchowego podczas montowania wolumenu Z MFT odczytywane są rekordy opisujące metapliki

20 Plik metadanych NTFS MFT Kopia MFT Plik dziennika (odtwarzanie danych)
Katalog główny Plik bitmapy (stan alokacji wolumenu) Plik rozruchowy (kod bootstrap) Plik klastrów uszkodzonych Plik wolumenu (nazwa wolumenu, wersja NTFS) Tablica definicji atrybutów

21 Odwołania do plików NTFS adresuje pliki odwołaniem o długości 64 bitów
Odwołanie składa się z liczby sekwencji (16 bitów) i numeru pliku Numer pliku określa pozycję rekordu opisującego plik w MFT

22 Rekord MFT W NTFS plik jest parą atrybuty/wartość
Plik atrybutów jest przechowywany jako oddzielny strumień bajtów wewnątrz właściwego pliku NTFS zapewnia podstawowe operacje dla strumienia atrybutów (tworzenie, usuwanie, zapis, odczyt)

23 Rekord MFT - cd

24 Atrybuty rezydentne i nierezydentne
Wartości atrybutów rezydentnych przechowywane są w rekordzie MFT Wartości atrybutów nierezydentnych przechowywane są we wpisach poza tablicą MFT

25 Atrybuty nierezydentne
Wpis – część obszaru przestrzeni dysku (2 lub 4kB) zarezerwowane przez NTFS do przechowywania atrybutów, których wartości są za duże do przechowywania w rekordzie MFT Tylko atrybuty o rosnącym rozmiarze mogą być nierezydentne (deskryptor bezpieczeństwa, lista atrybutów, ...)

26 Nagłówek atrybutu Każdy atrybut rozpoczyna nagłówek zawierający informacje o nim Nagłówek jest jednakowy dla obu typów atrybutów Nagłówek jest rezydentny Dla atrybutów rezydentnych nagłówek przechowuje odległość od nagłówka do wartości atrybutu oraz długość wartości atrybutu Nagłówek atrybutu nierezydentnego zawiera informacje o pozycji odpowiedniego wpisu na dysku

27 Nagłówek atrybutu rezydentnego

28 Nagłówek atrybutu nierezydentnego

29 Indeksowanie nazw plików
NTFS wykorzystuje indeksowanie nazw schematem B-drzewa Atrybuty plików w katalogu indeksowane są schematem B-drzewa w celu zmniejszenia liczby dostępów W dużych katalogach nazwy plików są przechowywane w buforach o stałej długości (4 kB)

30 Atrybuty katalogów Atrybut indeksu głównego – zawiera pierwszy poziom B-drzewa oraz indeks do bufora zawierającego kolejny poziom Atrybut indeksu alokacji – zawiera mapowanie VCN-LCN dla indeksu buforów Atrybut bitmapy – przechowuje informacje o numerze wirtualnym klastra wolnego i zajętego w indeksie buforów

31 Atrybuty katalogu głównego

32 Kompresja danych NTFS umożliwia kompresję danych na poziomie Pliku
Katalogu Wolumenu

33 „Kompresja” plików rzadkich
Pliki rzadkie zawierają proporcjonalnie do ich rozmiaru niewielką ilość bajtów niezerowych (macierze rzadkie) Kompresja polega na alokowaniu przestrzeni adresowej dysku tylko dla obszarów zawierających bajty niezerowe NTFS przegląda rekordy MFT w poszukiwaniu ciągłych obszarów przestrzeni adresowej dla zapisania niezerowych danych

34 Obszary pliku rzadkiego

35 Rekord MFT pliku rzadkiego

36 Kompresja plików zwykłych
Wykonywana algorytmicznie NTFS dzieli plik na jednostki kompresji o rozmiarze równym pojemności 16 klastrów i kompresuje je NTFS alokuje dla każdej jednostki kompresji odpowiednią liczbę klastrów (nie więcej niż 16) i zapisuje do nich skompresowane dane Rozmiar jednostki kompresji stanowi kompromis pomiędzy efektywnością kompresji i prędkością operacji dostępu do danych skompresowanego pliku

37 Obszary pliku zwykłego

38 Rekord MFT pliku zwykłego

39 Odzyskiwanie i spójność danych
Spójność danych powinna zostać zachowana bez konieczności użycia dodatkowych programów narzędziowych Wykorzystuje metodę dziennikowania opartą na śledzeniu operacji Działanie procedur odzyskiwania ograniczono do plików systemowych

40 Dziennikowanie (log file services LFS)
Ciąg procedur pracujących w trybie jądra wywoływanych przez sterownik NTFS podczas dostępu do danych NTFS nie zapisuje do- ani nie odczytuje z dziennika bezpośrednio lecz wykorzystuje w tym celu zarządcę pamięci podręcznej (Cache Manager)

41 LFS

42 Struktura pliku dziennika
Obszar restartu – zawiera informacje o kontekście (stan zaawansowania operacji) Obszar dziennika – zawiera opis operacji

43 Operacje dziennika Otwarcie pliku dziennika
Zapis rekordów operacji do dziennika Odczyt rekordów w dowolnej kolejności (wprost, wspak) z pliku dziennika Usunięcie rekordów z pliku dziennika Ustawienie początku pliku dziennika dla operacji o wyższym numerze sekwencji (Log Sequence Number LSN)

44 Rekordy dziennika Rekordy poprawy Rekordy testowe
Rekordy identyfikowane są poprzez numer sekwencji (Log Sequence Number LSN)

45 Rekordy poprawy Zawierają dwa typy informacji
Ponów – umożliwia ponowne wykonanie fragmentu rozpoczętej operacji Cofnij – umożliwia powrót do stanu sprzed rozpoczęcia wykonywania fragmentu operacji

46 Rekordy cofnij/ponów

47 Rekordy testowe Cyklicznie zapisywane do pliku dziennika przez NTFS
Usuwanie zawartości pliku dziennika: Zarządca pamięci podręcznej zapisuje wszystkie nie zapisane dane i plik dziennika na dysk NTFS ustawi zapis dla bieżącej operacji na początek pliku Rekordy testowe służą określaniu odległości powrotu dla operacji odzyskiwania danych

48 Rekord testowy

49 Odzyskiwanie Przeprowadzane w oparciu o dwie tablice przechowywane w pamięci operacyjnej Tablicę operacji przechowującą informacje o niedokończonych operacjach w postaci numeru LSN ostatnio zapisanego rekordu ostatniej operacji

50 Odzyskiwanie - cd Tablicy niekompletnych stron przechowującej informację o numerach stron pamięci zmodyfikowanych w pamięci podręcznej, a nie zapisanych na dysku w postaci numerów LSN rekordów nie zapisanych do pliku Tuż przed zapisaniem rekordu testowego LFS zapisuje kopię obu tablic do pliku dziennika jako rekord i zapisuje jego numer LSN do rekordu testowego

51 Fazy odzyskiwania Analiza Ponów Cofnij

52 Faza analizy Znalezienie w pliku dziennika rekordu od którego rozpocznie się proces odzyskiwania Na początku procesu, LFS znajduje w pliku dziennika ostatni rekord kontrolny oraz ostatnią kopię tablicy operacji i tablicy niekompletnych stron. NTFS poszukuje pierwszego po kontrolnym rekordu poprawy dla weryfikacji zawartości obu tablic NTFS na podstawie zawartości tablic określa LSN najstarszego rekordu poprawy, którego operacje nie zostały wykonane i kończy operacje

53 Faza analizy - cd

54 Faza ponów Dla uaktualnienia zawartości pamięci podręcznej o dane zapisane na dysku przed awarią NTFS przeszukuje plik dziennika od rekordu znalezionego w fazie analizy w kierunku końca pliku Poszukiwanie kończy się znalezieniem pierwszego rekordu „uaktualnienia strony” (page update, volume modification) Na podstawie informacji w nim zawartych uaktualniana jest informacja w pamięci podręcznej buforów

55 Faza ponów – cd

56 Faza cofnij Wykonywana dla wycofania operacji, które zostały przerwane, a dane utracone Znalezienie w tablicy operacji LSN rekordu ostatniej dziennikowanej, a nie zakończonej operacji Wykonanie operacji cofnięcia (usunięcia) rekordów operacji występujących w pliku dziennika po znalezionym rekordzie Synchronizacja zawartości pamięci podręcznej i danych przechowywanych na dysku

57 Faza cofnij - cd

58 Odporność na awarię Zapewnia FtDisk (fault tolerant disk driver) pracujący pomiędzy sterownikiem systemy plików i sterownikiem dysku Umożliwia Zarządzanie wolumenami (odpowiednik LVM) Redundantność przechowywanych danych Dynamiczne odzyskiwanie danych z uszkodzonych sektorów dysków SCSI

59 Zbiór wolumenów Pojedynczy wolumen logiczny może składać się z max. 32 obszarów wolnej przestrzeni adresowej jednego lub kilku dysków Wykorzystywany do tworzenia wolumenu o dużej pojemności z wielu drobnych obszarów FtDisk zakrywa przed systemem plików fizyczną konfigurację dysków NTFS umożliwia bezproblemowe zwiększanie rozmiaru wolumenu

60 Zbiór wolumenów - przykład

61 Przeplot (paskowanie)
Ciąg partycji (po jednej na dysku) tworzących jeden wolumen FtDisk dystrybuuje dane pomiędzy fizyczne dyski Wykorzystuje kolejne fizyczne sektory kolejnych pasków Dane na różnych dyskach są zapisywane jednocześnie W obciążonych systemach powoduje skrócenie czasu opóźnienia operacji I/O

62 Przeplot - przykład

63 Kopia lustrzana (RAID 1)
Duplikuje dane z partycji jednego dysku do partycji o identycznym rozmiarze drugiego dysku W przypadku utraty danych z partycji podstawowej FtDisk automatycznie sięga do kopii

64 Równoważenie obciążenia dla operacji odczytu
Dla operacji odczytu FtDisk stara się równomiernie obciążać obie partycje co zwiększa przepustowość systemu

65 Paskowanie z sumą kontrolną na jednym dysku (RAID 4)
Jak w przypadku paskowania ale z dodatkowym dyskiem do przechowywania sumy kontrolnej (najczęściej różnica symetryczna XOR) danych z odpowiednich klastrów Sekwencyjny zapis sumy kontrolnej poważnie zmniejsza wydajność systemu

66 Paskowanie z sumą kontrolną na wielu dyskach (RAID 5)
Jak RAID 4 ale suma kontrolna zapisywana jest na wszystkich dyskach

67 Zarządzanie sektorami
Odzyskiwanie danych z sektorów wykazujących objawy uszkodzenia Wykorzystuje niektóre możliwości dysków do tworzenia zbiorów klastrów uszkodzonych (dyski SCSI) FtDisk po otrzymaniu informacji od dysku o uszkodzeniu sektora kopiuje z niego dane, a sektor dołącza do listy sektorów uszkodzonych W tym zakresie FtDisk działa autonomicznie bez interwencji sterownika systemu plików

68 Aktualizacja mapowania klastrów uszkodzonych
Wykonywana gdy FtDisk nie jest w stanie odzyskać danych z klastra i wykonać jego kopii lub gdy FtDisk nie jest zainstalowany NTFS automatycznie alokuje nowy klaster i kopiuje dane z zawierającego uszkodzony sektor NTFS odzyskuje dane z pomocą FtDisk lub wolumenu nadmiarowego

69 Uszkodzony klaster

70 Aktualizacja mapowania

71 Atrybuty podstawowe - dysk

72 Atrybuty podstawowe - plik

73 Typy dostępu (plik, katalog)
Brak dostępu – domyślnie przypisywany każdej grupie. Użytkownicy nim objęci nie mogą nawet zobaczyć nazwy pliku lub katalogu. Lista – pozwala zobaczyć nazwę katalogu i plików oraz uczynić katalog bieżącym.

74 Typy dostępu (plik, katalog)
Odczyt – dla katalogów zawierających pliki wykonywalne. Dla katalogu jak typ lista. Pozwala uruchamiać pliki i je przeglądać ale nie modyfikować. Dodanie – pozwala dodać plik do katalogu, ale nie umożliwia jego modyfikacji.

75 Typy dostępu (plik, katalog)
Dodanie i odczyt – użytkownik może dodać plik do katalogu, wykonać plik lub przeczytać jego zawartość. Zmiana – poziom przypisywany domyślnie każdemu użytkownikowi. Umożliwia operacje wynikające z poziomu Dodanie i odczyt oraz modyfikowanie i usuwanie plików z katalogu.

76 Typy dostępu (plik, katalog)
Pełna kontrola – administratorzy i użytkownicy zaawansowani uzyskują pełną kontrolę nad plikami i katalogami lokalnego dysku. Uprawnienia jak zmiana oraz usunięcie całego katalogu, nadawanie dla niego uprawnień i przejęcie katalogu na własność.

77 Typy dostępu (plik, katalog)
Specjalny dostęp do katalogów – umożliwia zdefiniowanie nietypowego zestawu uprawnień i przyznanie ich użytkownikom do danego katalogu. Specjalny dostęp do plików – umożliwia zdefiniowanie nietypowego zestawu uprawnień i przyznanie ich użytkownikom do danego pliku.

78 Szczegółowe prawa dostępu
Odczyt (R) – użytkownik może odczytać zawartość pliku lub katalogu, bez możliwości modyfikacji. Zapis (W) – użytkownik może modyfikować zawartość pliku lub katalogu, ale nie może jej odczytać. Umożliwia tworzenie plików i katalogów.

79 Szczegółowe prawa dostępu
Wykonanie (X) – użytkownik może wykonywać pliki (jeśli są wykonywalne). Jest również niezbędna dla otwarcia katalogu w celu przejrzenia jego zawartości. Usunięcie (D) – użytkownik może usunąć plik lub katalog.

80 Szczegółowe prawa dostępu
Zmiana uprawnień (P) – prawo nadawane zazwyczaj administratorowi; umożliwia zmianę uprawnień innych użytkowników do pliku lub katalogu. Przejęcie na własność (O) – użytkownik może przejąć katalog na własność.

81 Wpis uprawnienia

82 Właściwości

83 Kontrola dostępu

84 Właściciel

85 Atrybuty zaawansowane

86 Wpis inspekcji

87 Podmiot inspekcji