Proces migrowania danych

Prezentacja na temat: "Proces migrowania danych"— Zapis prezentacji:

1 Proces migrowania danych
Altkom Matrix S.A.

2 Różne technologie baz danych
Wersje do 4.00 programu FK korzystają z bazy danych Btrieve. Wersja FORTE programu FK korzysta z nowoczesnej bazy danych MS SQL Server w wersji 7.0 lub MS SQL Server w wersji 2000.

3 Cel procesu migrowania danych
Celem procesu jest przeniesienie istniejących danych z plików formatu Brieve do tabel bazy MS SQL Server tak, aby klient mógł kontynuować pracę w nowej wersji. Obie bazy są realizacją sprawdzonej w praktyce technologii relacyjnej i istnieje logiczne podobieństwo struktur danych w obu technologiach, dlatego też przeniesienie danych jest możliwe.

4 Nowoczesne baz danych FK Forte wykorzystuje wiele rozszerzeń bazy MS SQL Server, które nie są dostępne w bazie Btrieve. Wykorzystywane rozszerzenia dotyczą szczególnie utrzymania kompletności danych i zwiększenia bezpieczeństwa ich przechowywania.

5 Spójność i bezpieczeństwo
Zdarza się, że w bazie Btrieve istnieją niewielkie niespójności danych, które są wychwytywane i sygnalizowane w bazie MS SQL Server jako błąd. Wszystkie błędy należy poprawić aby przywrócić wewnętrzną spójność danych i zwiększyć bezpieczeństwo pracy. Przyjęto zasadę zachowania pełnej kontroli nad danymi w procesie migracji.

6 Proces migracji - etap 1 Proces migracji jest wieloetapowy.
Baza Btrieve Sprawdzenie przed migracją Proces migracji jest wieloetapowy. Najpierw wykonujemy raport „Sprawdzenie przed migracją” (Mig_SQL.sc). Raport ten opracowano na podstawie obserwacji najczęściej wystepujących błędów.

7 Sprawdzenie przed migracją
Raport wywołuje inne raporty naprawcze wg hierarchii: „Sprawdzenie przed migracją” „Sprawdzenie kontrahentów” (SprKontr.sc) „Diagnostyka rozrachunków” (DiagRoz.sc) „Diagnostyka bazy bufora” (DiakBuf.sc) „Diagnostyka bazy ksiąg” (DiagKs.sc) Jeśli raport wykryje i poprawi błędy, zaleca sie powtórne jego wywołanie na poprawionej bazie.

8 Sprawdzenie przed migracją
Jesli nie udaje się poprawić bazy raportem „Sprawdzenie przed migracją” bazę należy przekazać MATRIX.PL

9 Proces migracji - etap 2 Baza Btrieve Pliki tekstowe W drugim etapie wykonujemy raport „Eksport baz dla BCP” który generuje pliki tekstowe zawierające wszystkie dane niezbędne do migracji. Wymagane jest, aby baza danych była kompletna.

10 Uruchomienie raportu Operacje związane z poprawianiem i eksportowaniem bazy Btrieve należy wykonywać używając programu Symfonia FK ver. “4.00c”. Po wykonaniu aktualizacji raportów, należy uruchomić raport „Eksport baz dla BCP” z zakładki „Własne”.

11 Wykonanie raportu Jeżeli ścieżka o podanej nazwie nie istnieje (trzeba ją utworzyć), wtedy wymagane są krótkie (8 znakowe) nazwy katalogów. Jeżeli ścieżka już istnieje, nazwy katalogów mogą być dowolnie długie. Wymagane jest zakończenie nazwy katalogu „\” (do nazwy katalogu bedą doklejane nazwy plików). Poprzez wybranie opcji „Nazwy DOS” wymusza się, aby pliki tekstowe miały krótkie (8 znakowe) nazwy

12 Wykonanie raportu W czasie wykonywania raportu wyświetlane są informacje o: aktualnie przetwarzanym pliku bazy Btrieve (02bilrw.dat - rok 2001) liczbie dotychczas przetworzonych plików (30 plików) liczbie dotychczas przetworzonych rekordów aktualnie przetwarzanego pliku bazy (130 rekordów)

13 Wykonanie raportu Czesto dane z kilku baz Btrieve (np. 02dok_s.dat, 02dokum.dat, 02dok_s.dat) są umieszczane w pojedynczym pliku tekstowym (np. dokumenty) Po wykonywaniu raportu otrzymujemy informację: jakie pliki baz zostały wyeksportowane (np. 02dok_b.dat), ile rekordów wyeksportowano do pliku tekstowego (np. dokumenty) z jednej bazy (np. 1) i narastająco (np. 3).

14 Pliki tekstowe Raport “Eksport baz dla BCP” eksportuje wszystkie tabele. Jeżeli w tabeli nie ma rekordów zostanie utworzony plik o zerowej długości, który również jest konieczny w procesie importu. Przyjęto zasadę, żę nazwy plików nie mają rozszerzeń i są zgodne z nazwami tabel bazy SQL. Jeśli wybrano opcję „Nazwy DOS”, wszystkie pliki będą miały nazwy skrócone do 8 znaków.

15 Proces migracji - etap 3 Pliki tekstowe MS SQL Server W tym etapie dane z plików tekstowych są importowane do bazy MS SQL Server. Dalsze czynności nie wymagają aplikacji Amfk, a jedynie dostępu do katalogu danych i narzędzi MS-SQL. W czasie importu odbywa się kontrola spójności danych.

16 Importowanie danych Korzystając z danych w plikach tekstowych przystępujemy do importu do bazy SQL. W tym celu należy uruchomić program FKmigrDB.exe, wskazać żądany serwer MSSQL, wybrać sposób autentyfikacji i ewentualnie wskazać użytkownika. WAŻNE: należy posiadać uprawnienia administratora!

17 Importowanie danych (2)
Następnie wskazujemy lokalizację danych, nazwę bazy danych (możemy również zainstalować nowy FKmodel). WAŻNE: Nazwa bazy musi być zgodna z nazwą katalogu w którym znajdują sie pliki tekstowe z danymi!

18 Importowanie danych (3)
Po prawidłowym podaniu danych następuje proces importu, który tworzy pomocniczą bazę danych *_MIGR do której importowane są dane z plików tekstowych. Następnie dane te są aktualizowane i sprawdzane. Przebieg tego etapu można na bieżąco oglądać w tabeli „historiaAktualizacji” z bazy tymczasowej. Szczególnie ważne jest wykrycie wpisów opatrzonych opisem: SPRAWDZENIE(tabela) – niepoprawnych: x

19 Importowanie danych (4)

20 Importowanie danych (5)
Po etapie weryfikacji danych następuje przekopiowanie danych do docelowej bazy. Przebieg tego etapu należy sprawdzić w tabeli „historiaBazy” w docelowej bazie. Wszystkie wpisy powinny uzyskać wpis „Zakończono pomyślnie.”

21 Importowanie danych (6)

22 Dodawanie użytkowni- ków
Po utworzeniu bazy danych należy dodać użytkowników korzystając z programu Enterprise Manager zgodnie z nazwami użytkowników w domenie adresowej Windows i nadać im prawa.

23 Nadawanie praw użytkownikom
W zakładce DatabaseAccess należy dla danej bazy nadać użytkownikowi public.

24 Zakończenie W efekcie uzyskujemy spójną, nowoczesną bazę danych.

25 Naprawa danych raportami
Baza Btrieve Pliki tekstowe MS SQL Server Raporty naprawcze Jeśli w pikach *.log wystepują błędy należy poprawić bazę uruchamiając raporty naprawcze. Jest to zalecany sposób usuwania błędów

26 Specjalne poprawianie danych
Baza Btrieve Pliki tekstowe MS SQL Server Naprawy dodatkowe Gdy otrzymamy informację o błędach w rozrachunkach, wtedy należy uruchomic dodatkowo raport „Korekta transakcji, rozliczeń” (nie jest on wywoływany automatycznie).

27 Format plików tekstowych
Pliki tekstowe zawierające dane wszystkich tabel bazy umożliwiają w bardzo szerokim zakresie diagnostykę przetwarzanych danych. Każdy plik tekstowy odpowiada jednej tabeli bazie danych SQL. Separatorem rekordu jest sekwencja znaków „\n***EOR\n”, separatorem pól jest sekwencja „\t#\t”. Kolejność pól dla każdego pliku (i jednocześnie każdej tabeli) jest zgodna z kolejnością pól w bazie SQL.

28 Diagnostyka Dane z plików tekstowych można
MS Access Baza Btrieve Pliki tekstowe Edytor tekstów MS Excell Dane z plików tekstowych można Przegladać w edytorach tekstów Importować do programów MS Office

29 Diagnostyka Baza Btrieve Pliki tekstowe MS SQL Server Można utworzyć bazę MS SQL Server bez sprawdzania spójności danych. Nie można uruchomic programu FK Forte, można jednak przeglądać dane uruchamiając zapytania SQL .