Porozmawiajmy o Twojej firmie

AWS przejmuje migrację Hive do Iceberg: co to zmienia dla polskich zespołów danych

AWS przejmuje migrację Hive do Iceberg: co to zmienia dla polskich zespołów danych

Amazon uruchomił zarządzaną migrację tabel Apache Hive do formatu Apache Iceberg w usłudze Amazon S3 Tables. Funkcja jest dostępna od teraz w ośmiu regionach, w tym w Europie (Frankfurt, Irlandia, Sztokholm). Działa z tabelami Parquet zapisanymi w S3 i zarejestrowanymi w AWS Glue Data Catalog — w tym samym koncie i regionie. S3 Tables generuje raport zgodności przed skopiowaniem jakichkolwiek danych, a następnie prowadzi walidację, konwersję typów, rekompresję plików i kompakcję. Producent deklaruje, że za konwersję Hive→Iceberg nie pobiera opłaty — płaci się wyłącznie za skopiowane dane.

To istotne dla polskich zespołów danych, które utrzymują data lake’i na starym formacie tabel. Hive to technologia dojrzała, ale kosztowna w utrzymaniu i słabo dopasowana do nowoczesnych silników analitycznych. Iceberg jest dziś de facto standardem otwartym dla dużych zbiorów analitycznych. Wcześniej migracja oznaczała tygodnie pracy inżynierskiej: budowę potoku kopiowania, obsługę konwersji typów, mechanizm wycofania. Teraz AWS oferuje to jako operację API. Pytanie brzmi, czy dla polskiej firmy to realna oszczędność, czy wygodna droga do uzależnienia od konkretnych usług AWS.

Co dokładnie ogłoszono

Ogłoszenie pochodzi z oficjalnego bloga AWS i ma charakter komunikatu produktowego. Nie ma tu niezależnych testów ani zewnętrznych pomiarów wydajności. Wszystkie deklaracje o czasie migracji, kosztach i zachowaniu danych pochodzą od producenta. To trzeba wyraźnie oddzielić od tego, co da się zweryfikować samodzielnie w konsoli i dokumentacji.

Zakres funkcji na start jest wąski i to jest najważniejsza informacja praktyczna:

  • tylko tabele Hive zarejestrowane w AWS Glue Data Catalog,
  • tylko dane w formacie Parquet,
  • tylko w obrębie tego samego konta AWS i tego samego regionu,
  • dostępność w regionach: US East (N. Virginia, Ohio), US West (Oregon), Asia Pacific (Mumbai, Singapore, Sydney, Tokyo) oraz Europa (Frankfurt, Irlandia, Sztokholm).

Polskie firmy korzystające z regionu eu-central-1 (Frankfurt) mieszczą się w zakresie. Te, które trzymają dane w Warszawie, muszą sprawdzić dostępność usługi S3 Tables w swoim regionie — ogłoszenie nie wymienia Warszawy.

Tło techniczne bez żargonu

Czym jest Hive i dlaczego się zestarzał

Apache Hive powstał jako warstwa zapytań SQL nad danymi w Hadoopie. Tabela Hive to w praktyce katalog metadanych (najczęściej w bazie Metastore) plus pliki danych w magazynie obiektowym lub systemie plików. Hive nie zarządza wersjami plików, nie potrafi bezpiecznie dopisywać danych z wielu procesów naraz, a zmiana schematu wymaga ostrożnych, ręcznych operacji. Partycjonowanie opiera się na strukturze katalogów, co przy dużej liczbie partycji prowadzi do problemów z wydajnością metadanych.

Czym jest Iceberg i co daje

Iceberg to format tabel, a nie silnik zapytań. Zamiast katalogów partycji utrzymuje drzewo metadanych: listę plików danych, migawek i manifestów. Dzięki temu:

  • ewolucja schematu jest bezpieczna — można dodawać i usuwać kolumny bez przepisywania danych,
  • ukryte partycjonowanie pozwala zmienić sposób partycjonowania bez przebudowy tabeli,
  • zapytania time travel umożliwiają odczyt stanu tabeli z wybranego momentu,
  • wiele silników może pisać i czytać równolegle przy zachowaniu spójności.

To nie jest kosmetyka. Dla zespołu danych oznacza mniej incydentów przy zmianach schematu i prostsze odtwarzanie stanu po błędnym wczytaniu danych.

Jak działa zarządzana migracja

Mechanizm opisany przez AWS wygląda następująco. Użytkownik wskazuje tabelę źródłową w Glue Data Catalog i docelowy bucket tabel w S3 Tables. System waliduje źródło, generuje raport zgodności obejmujący wszystkie obiekty w zakresie, a następnie kopiuje dane. Tabela docelowa w trakcie migracji jest tylko do odczytu. Po zakończeniu przechodzi w tryb odczytu i zapisu.

Kluczowa funkcja to synchronizacja przyrostowa. Można wielokrotnie wywoływać operację synchronizacji, która kopiuje tylko zmiany, bez zatrzymywania zapisów do tabeli źródłowej. Wyjątkiem jest moment przełączenia (cutover), który według producenta zajmuje kilka minut. To rozwiązanie typu „najpierw przygotuj, potem przełącz” — redukuje okno niedostępności, ale go nie eliminuje.

Migrację można uruchomić z konsoli S3, przez AWS CLI, SDK lub Agent Toolkit for AWS. Tabele docelowe są odpytywalne przez Amazon Athena, Amazon SageMaker Unified Studio albo dowolne narzędzie zgodne z Apache Iceberg REST API. To ostatnie zastrzeżenie jest ważne: nie jesteś zamknięty wyłącznie w narzędziach AWS, ale same tabele żyją w S3 Tables, czyli w zarządzanej usłudze Amazonu.

Realne konsekwencje dla organizacji

Koszty: deklaracja wymaga własnej kalkulacji

AWS twierdzi, że migracja jest tańsza od podejścia self-managed, bo płaci się tylko za skopiowane dane, a konwersja jest bezpłatna. To prawda w wąskim sensie: nie ma pozycji „opłata za konwersję”. Ale rachunek obejmuje więcej elementów, których ogłoszenie nie wycenia:

  • koszt przechowywania danych w S3 Tables (inny niż zwykłe buckety S3),
  • koszt zapytań w Athena rozliczanych za przeskanowane dane — a po kompakcji i rekompresji wolumen może się zmienić,
  • koszt utrzymania źródłowej tabeli Hive przez cały okres migracji,
  • koszt pracy zespołu przy walidacji raportów zgodności i testach.

Wartość „bezpłatna konwersja” jest realna, ale nie oznacza „bezpłatna migracja”. Dla dużego data lake’u liczącego setki terabajtów sam koszt skopiowania danych i ich późniejszego utrzymania w S3 Tables trzeba policzyć osobno. AWS nie publikuje w tym ogłoszeniu cennika S3 Tables, więc kalkulację trzeba oprzeć na aktualnym cenniku usługi.

Uzależnienie od AWS Glue i S3 Tables

To najpoważniejszy zarzut wobec tego rozwiązania i trzeba go postawić wprost. Migracja wymaga, by źródło było zarejestrowane w Glue Data Catalog. Cel zawsze ląduje w S3 Tables. Nie ma tu ścieżki „migruj do własnego katalogu Iceberg na zwykłym S3”. To nie jest wada samego Iceberga — Iceberg pozostaje otwartym formatem, a dane można odpytywać z zewnętrznych narzędzi. To ograniczenie konkretnej, zarządzanej usługi.

Dla firmy, która świadomie buduje architekturę multi-cloud lub chce uniknąć koncentracji dostawcy, to sygnał ostrzegawczy. Dla firmy, która i tak stoi na AWS i Glue, to naturalne rozszerzenie istniejącej zależności, a nie nowa.

Zakres wykluczeń

Poza zakresem zostają tabele:

  • niezarejestrowane w Glue Data Catalog,
  • w formatach innych niż Parquet (np. ORC, Avro, tekstowe),
  • w innym koncie lub regionie niż docelowy bucket tabel,
  • w regionach, gdzie S3 Tables nie jest dostępne.

To oznacza, że w typowym polskim data lake’u migracja obejmie prawdopodobnie tylko część tabel. Reszta wymaga osobnego planu albo pozostanie na Hive.

Scenariusze ryzyka

Ryzyko 1: niepełny raport zgodności

Raport zgodności jest generowany przed kopiowaniem, co jest dobrą praktyką. Ryzyko polega na tym, że zespół potraktuje go jako formalność. Jeśli w tabeli są kolumny o typach wymagających konwersji — na przykład typ int96 reprezentujący znacznik czasu — domyślna polityka konfliktów ustawiona na „FAIL” zatrzyma migrację. To bezpieczne domyślne zachowanie, ale wymaga decyzji: jaka strefa czasowa jest właściwa dla danych źródłowych. Błędne założenie przesunie znaczniki czasu i będzie trudne do wykrycia po fakcie.

Ryzyko 2: okno przełączenia

Producent mówi o „kilku minutach” niedostępności zapisów podczas cutover. W praktyce okno zależy od tego, jak szybko zespół wykona weryfikację po synchronizacji i przełączy aplikacje na nową tabelę. Jeśli zapisy do źródła są wznawiane po przełączeniu przez stary kod, dane rozjadą się między dwiema tabelami. To ryzyko organizacyjne, nie techniczne, i wymaga uzgodnionego planu wycofania.

Ryzyko 3: koszt nieprzewidziany w budżecie

Skopiowanie danych to jednorazowy wydatek. Trwały koszt to przechowywanie w S3 Tables i zapytania. Zespoły, które przyzwyczaiły się do tanich zapytań na małych plikach, mogą zobaczyć wzrost rachunku po kompakcji, jeśli nie dostroją zapytań i partycjonowania.

Ryzyko 4: kompetencje

Migracja jest zarządzana, ale nie jest bezobsługowa. Ktoś musi przeczytać raport zgodności, zdecydować o konwersji typów, zaplanować cutover, przetestować odczyty w Athena i zweryfikować uprawnienia IAM. To praca dla doświadczonego inżyniera danych, nie dla osoby, która pierwszy raz widzi konsolę AWS.

Jak sprawdzić, czy problem dotyczy Twojej firmy

Krótka diagnoza, którą można wykonać w ciągu godziny:

  1. Sprawdź, czy w Twoim koncie AWS istnieją tabele Hive zarejestrowane w Glue Data Catalog. W konsoli Glue przejrzyj bazy i tabele; zwróć uwagę na format plików.
  2. Ustal, ile z tych tabel używa Parquet, a ile innych formatów. Tylko Parquet kwalifikuje się do migracji.
  3. Sprawdź region, w którym działają tabele i czy S3 Tables jest tam dostępne. Dla Polski najprawdopodobniej Frankfurt lub Irlandia — oba są na liście.
  4. Oszacuj wolumen danych w tabelach Parquet. To podstawa kosztu kopiowania.
  5. Sprawdź, kto i jak zapisuje dane do tych tabel: potoki Spark, Hive, inne narzędzia. To determinuje plan cutover.
  6. Ustal, czy w tabelach są kolumny typu int96 lub inne wymagające konwersji.

Jeśli odpowiedzi wskazują na kilka tabel Parquet w Glue, w regionie objętym usługą, a zespół ma doświadczenie w AWS — migracja jest realną opcją. Jeśli tabele są w formatach mieszanych albo dane są w regionie bez S3 Tables — temat trzeba odłożyć.

Plan reakcji krok po kroku

Faza 1: przygotowanie (1–2 tygodnie)

  1. Inwentaryzacja tabel Hive: format, rozmiar, sposób zapisu, właściciel biznesowy.
  2. Wybór jednej tabeli pilotażowej — małej, ale reprezentatywnej pod względem typów danych.
  3. Ustalenie polityki konwersji typów, zwłaszcza strefy czasowej dla int96.
  4. Przygotowanie uprawnień IAM dla roli migracyjnej i docelowych bucketów.
  5. Kalkulacja kosztu: skopiowane dane, przechowywanie w S3 Tables, zapytania testowe.

Faza 2: migracja pilotażowa (1 tydzień)

  1. Uruchom migrację w trybie, który pozwala przejrzeć plan przed wykonaniem — w wywołaniu API odpowiada za to parametr reviewMigrationPlan.
  2. Przeanalizuj raport zgodności. Zanotuj każdy obiekt oznaczony jako problematyczny.
  3. Wykonaj synchronizację i sprawdź, czy tabela docelowa odzwierciedla zmiany.
  4. Przetestuj odczyty w Athena i porównaj wyniki z tabelą źródłową na próbce zapytań.
  5. Zmierz czas cutover i zapisz go jako punkt odniesienia.

Faza 3: migracja produkcyjna (2–4 tygodnie w zależności od liczby tabel)

  1. Zaplanuj okno cutover poza godzinami szczytu analitycznego.
  2. Powiadom zespoły korzystające z tabel o zmianie.
  3. Wykonaj finalną synchronizację, przełącz zapisy, zweryfikuj odczyty.
  4. Utrzymaj tabelę źródłową w trybie tylko do odczytu przez uzgodniony okres karencji.
  5. Po okresie karencji zarchiwizuj lub usuń źródło zgodnie z polityką retencji.

Typowe błędy

  • Traktowanie raportu zgodności jako formalności. To jedyny moment, w którym tanio wychwycić problemy z typami danych.
  • Brak planu wycofania. Po przełączeniu trzeba mieć możliwość powrotu do źródła, dopóki nie ma pewności, że wszystko działa.
  • Migracja wszystkich tabel naraz. Pilotaż na jednej tabeli ujawnia problemy w kontrolowanych warunkach.
  • Pominięcie zespołów biznesowych. Analitycy korzystający z tabel muszą wiedzieć o zmianie i sprawdzić swoje zapytania.
  • Założenie, że Iceberg sam rozwiąże problem wydajności. Bez dostrojenia partycjonowania i kompakcji duże tabele nadal mogą działać wolno.
  • Ignorowanie kosztu przechowywania po migracji. Skopiowanie danych to początek, nie koniec wydatków.

Działania krótkoterminowe i długoterminowe

Krótkoterminowe (do 3 miesięcy)

  • Inwentaryzacja tabel Hive i ocena, ile z nich kwalifikuje się do migracji.
  • Migracja pilotażowa jednej tabeli z pełną weryfikacją.
  • Aktualizacja polityk IAM i dokumentacji wewnętrznej.
  • Szkolenie zespołu z podstaw Iceberga i S3 Tables.

Długoterminowe (3–12 miesięcy)

  • Stopniowa migracja kolejnych tabel z harmonogramem i właścicielami.
  • Standaryzacja nowych tabel wyłącznie w Icebergu — bez tworzenia nowych tabel Hive.
  • Wdrożenie monitoringu kosztów S3 Tables i zapytań Athena.
  • Ocena, czy architektura nie wymaga wyjścia poza S3 Tables w kierunku własnego katalogu Iceberg, jeśli pojawi się potrzeba multi-cloud.

Praktyczna checklista

Obszar Do sprawdzenia Status
Zakres Czy tabele są w Glue Data Catalog i w formacie Parquet? ☐
Region Czy S3 Tables działa w regionie danych? ☐
Konto Czy źródło i cel są w tym samym koncie i regionie? ☐
Typy danych Czy są kolumny wymagające konwersji (np. int96)? ☐
Polityka konfliktów Czy ustalono zachowanie przy konflikcie typów? ☐
Uprawnienia Czy rola migracyjna ma wymagane uprawnienia? ☐
Koszty Czy policzono kopiowanie, przechowywanie i zapytania? ☐
Cutover Czy zaplanowano okno i plan wycofania? ☐
Walidacja Czy porównano wyniki zapytań źródła i celu? ☐
Komunikacja Czy zespoły biznesowe wiedzą o zmianie? ☐

Co powinien zrobić właściciel firmy / administrator

Właściciel firmy lub osoba odpowiedzialna za budżet IT powinna zadać trzy pytania, zanim zatwierdzi migrację:

  1. Ile kosztuje utrzymanie obecnych tabel Hive — nie tylko infrastruktura, ale też czas zespołu na obsługę problemów ze schematem i wydajnością?
  2. Jaki jest przewidywany koszt przechowywania w S3 Tables w perspektywie 12 miesięcy?
  3. Czy firma jest gotowa na głębsze uzależnienie od AWS w warstwie danych?

Jeśli odpowiedzi wskazują, że oszczędności operacyjne przewyższają koszty przechowywania, a zależność od AWS jest już faktem — migracja ma sens. Jeśli firma planuje multi-cloud lub ma dane w formatach innych niż Parquet — trzeba zacząć od węższego zakresu lub odłożyć decyzję.

Administrator lub inżynier danych powinien:

  • przejrzeć dokumentację migracji S3 Tables i zweryfikować aktualny cennik,
  • przygotować rolę IAM z minimalnymi uprawnieniami,
  • wykonać migrację pilotażową z parametrem wstrzymującym automatyczne zakończenie,
  • zarchiwizować raporty zgodności i migracji w osobnym buckecie,
  • ustalić procedurę wycofania i przetestować ją przed produkcyjnym cutover,
  • monitorować koszty S3 Tables i Athena przez pierwsze tygodnie po migracji.

Ocena końcowa

Zarządzana migracja Hive→Iceberg w S3 Tables rozwiązuje realny problem: eliminuje potrzebę budowy własnego potoku migracyjnego i daje raport zgodności przed kopiowaniem danych. Dla polskich firm z data lake’iem na AWS, w regionie Frankfurt lub Irlandia, to opcja warta pilotażu. Ogłoszenie nie zawiera jednak niezależnych testów, a deklaracje o kosztach i czasie cutover pochodzą wyłącznie od producenta.

Największe ograniczenie to zawężenie do tabel Parquet w Glue Data Catalog i do S3 Tables jako celu. To nie jest migracja „do Iceberga w ogóle”, lecz migracja do konkretnej usługi AWS. Firmy, które cenią otwartość formatu i elastyczność dostawcy, powinny rozważyć równolegle własny katalog Iceberg. Firmy, które i tak są głęboko w ekosystemie AWS, zyskują wygodne narzędzie — pod warunkiem, że policzą koszty po migracji, a nie tylko przed nią.

Praktyczna weryfikacja przed uruchomieniem migracji

Weryfikacja przed uruchomieniem migracji nie kończy się na przeglądzie tabel w konsoli Glue. Powinna być udokumentowanym testem, który da odpowiedź, czy dana tabela nadaje się do migracji w obecnym stanie i czy zespół jest gotowy na cutover. Poniższe kroki można wykonać w jednej sesji roboczej, zanim jeszcze powstanie rola migracyjna.

Test 1: zgodność źródła z zakresem usługi

Usługa obsługuje tabele Parquet w Amazon S3 zarejestrowane w AWS Glue Data Catalog. Weryfikacja polega na potwierdzeniu trzech warunków jednocześnie: format plików to Parquet, tabela jest zarejestrowana w Glue Data Catalog, a dane leżą w S3. Tabela, która spełnia dwa z trzech warunków, nie kwalifikuje się. Warto zapisać wynik testu w formie tabeli: nazwa tabeli, baza Glue, format, lokalizacja S3, region, właściciel. Taki rejestr staje się podstawą harmonogramu migracji i pozwala uniknąć sytuacji, w której zespół odkrywa niekwalifikującą się tabelę dopiero w trakcie pracy.

Test 2: identyfikacja obiektów w zakresie

Przed skopiowaniem jakichkolwiek danych S3 Tables identyfikuje każdy obiekt źródłowy w zakresie i generuje raport zgodności. To oznacza, że weryfikację można oprzeć na rzeczywistym raporcie, a nie na założeniach. Warto uruchomić migrację w trybie, który pozwala przejrzeć plan przed wykonaniem — w wywołaniu API odpowiada za to parametr reviewMigrationPlan. Ustawienie go na wartość true pozwala zatrzymać proces na etapie planu i przeanalizować raport zgodności bez kopiowania danych.

Test 3: konwersja typów i polityka konfliktów

Konwersja typów to miejsce, w którym migracja najczęściej ujawnia problemy. W wywołaniu API konfiguruje się ją w sekcji dataTypeTransforms. Dostępna jest polityka konfliktów conflictPolicy — ustawienie FAIL oznacza, że konflikt zatrzyma migrację zamiast ją kontynuować z niejawną konwersją. Dla kolumn typu int96 konfiguruje się transformację na timestamp wraz ze strefą czasową źródła, np. UTC. Przed migracją produkcyjną warto sprawdzić, jakie typy występują w tabeli i czy wymagają transformacji, oraz zdecydować, czy polityka konfliktów ma zatrzymywać proces, czy pozwalać na kontynuację.

Test 4: uprawnienia roli migracyjnej

Migracja wymaga roli IAM wskazanej w polu roleArn. Zakres uprawnień powinien być minimalny: dostęp do źródłowej tabeli Glue, do docelowego table bucketu oraz do lokalizacji raportu zgodności. Przed uruchomieniem warto sprawdzić, czy rola istnieje, czy ma zaufanie do usługi i czy nie ma szerszych uprawnień, niż wynika to z zakresu migracji. Test uprawnień można wykonać na tabeli pilotażowej — błąd uprawnień ujawni się szybko i tanio.

Test 5: konfiguracja docelowa

Docelowa tabela powstaje z rekomendowanymi ustawieniami domyślnymi, dostrojonymi pod wydajność zapytań i efektywność przechowywania. W wywołaniu API można jednak jawnie ustawić m.in. format zapisu (writeFormat), wersję formatu Iceberg (icebergFormatVersion), kodek kompresji (compressionCodec) oraz kodowanie słownikowe (dictionaryEncoding). Warto zdecydować o tych parametrach przed migracją pilotażową, aby test odzwierciedlał konfigurację produkcyjną, a nie domyślną.

Monitoring po wdrożeniu

Po promowaniu tabeli docelowej do trybu read-write monitoring nie może ograniczać się do sprawdzenia, czy zapytania działają. Potrzebny jest zestaw sygnałów, które w pierwszych tygodniach wychwycą regresje wydajności, kosztu i jakości danych.

Sygnały do obserwacji w pierwszym tygodniu

  • Czas odpowiedzi próbki zapytań Athena w porównaniu z pomiarem wykonanym na tabeli źródłowej przed cutover.
  • Liczba i rozmiar plików w tabeli docelowej — czy kompakcja nadąża za zapisami.
  • Koszt zapytań i koszt przechowywania w podziale na dni.
  • Liczba błędów zapytań i ich typy — błędy uprawnień, błędy schematu, błędy konwersji typów.
  • Różnice w wynikach zapytań porównawczych między źródłem a celem na ustalonej próbce.

Parametry utrzymaniowe ustawiane w migracji

Konfiguracja migracji zawiera sekcję maintenanceSettings, w której ustawia się kompakcję Iceberg oraz zarządzanie snapshotami. Dla kompakcji dostępny jest docelowy rozmiar pliku (targetFileSizeMB), strategia oraz porządek sortowania. Dla snapshotów ustawia się minimalną liczbę zachowywanych snapshotów (minSnapshotsToKeep) i maksymalny wiek snapshotu w godzinach (maxSnapshotAgeHours). Wartości te należy zapisać jako punkt odniesienia i porównywać z rzeczywistym zachowaniem tabeli po wdrożeniu — jeśli pliki rosną szybciej niż zakładano, trzeba skorygować ustawienia, zanim problem stanie się kosztowny.

Monitoring kosztu kopiowania i przechowywania

Migracja jest rozliczana za skopiowane dane, bez opłaty za konwersję Hive do Iceberg. Obiekty źródłowe w S3 Intelligent-Tiering pozostają w swoim dotychczasowym tierze dostępu. Po migracji dochodzi jednak koszt przechowywania w S3 Tables oraz koszt zapytań. Monitoring powinien rozdzielać te trzy strumienie: jednorazowy koszt kopiowania, stały koszt przechowywania i zmienny koszt zapytań. Dopiero tak rozdzielone dane pozwalają ocenić, czy migracja rzeczywiście się opłaca.

Monitoring dostępności i trybu tabeli

W trakcie migracji tabela docelowa jest tylko do odczytu, a po zakończeniu migracji jest promowana do trybu read-write. W pierwszych dniach po promowaniu warto potwierdzić, że zapisy rzeczywiście trafiają do tabeli docelowej, a nie do źródła, oraz że żaden potok nie zapisuje równolegle w obu miejscach. Podwójny zapis to najczęstsza przyczyna rozjazdu danych po cutover.

Checklisty operacyjne

Checklista przed uruchomieniem migracji pilotażowej

  1. Tabela jest w formacie Parquet i zarejestrowana w Glue Data Catalog.
  2. Region tabeli jest objęty usługą S3 Tables.
  3. Zidentyfikowano kolumny wymagające konwersji typów, w tym int96.
  4. Ustalono politykę konfliktów typów (conflictPolicy).
  5. Przygotowano rolę IAM i wskazano ją w polu roleArn.
  6. Ustawiono reviewMigrationPlan na true, aby przejrzeć plan przed wykonaniem.
  7. Zdecydowano o parametrach docelowych: format zapisu, wersja Iceberg, kompresja, kodowanie słownikowe.
  8. Ustalono lokalizację raportu zgodności.
  9. Zapisano punkt odniesienia: czas zapytań i rozmiar danych w tabeli źródłowej.
  10. Zaplanowano okno cutover i plan wycofania.

Checklista po migracji pilotażowej

  1. Raport zgodności został przejrzany, a każdy problematyczny obiekt ma przypisaną decyzję.
  2. Wykonano co najmniej jedną synchronizację i potwierdzono, że tabela docelowa odzwierciedla zmiany.
  3. Porównano wyniki zapytań w Athena między źródłem a celem na ustalonej próbce.
  4. Zmierzono czas cutover i zapisano go jako punkt odniesienia.
  5. Potwierdzono, że tabela docelowa jest w trybie read-write po zakończeniu migracji.
  6. Sprawdzono, że zapisy trafiają wyłącznie do tabeli docelowej.
  7. Zapisano konfigurację maintenanceSettings jako wartość odniesienia dla monitoringu.
  8. Uruchomiono monitoring kosztu kopiowania, przechowywania i zapytań.

Checklista przed migracją produkcyjną kolejnych tabel

  1. Migracja pilotażowa zakończona i zweryfikowana.
  2. Zespoły korzystające z tabel poinformowane o terminie cutover.
  3. Okno cutover zaplanowane poza godzinami szczytu analitycznego.
  4. Plan wycofania przetestowany przed cutover.
  5. Tabela źródłowa pozostaje dostępna w trybie tylko do odczytu przez uzgodniony okres karencji.
  6. Polityka retencji źródła ustalona na okres po karencji.
  7. Raporty zgodności i migracji archiwizowane w osobnym buckecie.
  8. Harmonogram kolejnych tabel ma przypisanych właścicieli.

Weryfikacja przez API i CLI

Migrację można uruchomić z konsoli, przez AWS CLI, AWS SDK lub Agent Toolkit for AWS. W praktyce weryfikacja przez CLI jest wygodniejsza, bo pozwala zapisać konfigurację w pliku JSON i wielokrotnie ją odtwarzać. Przykład z materiału źródłowego pokazuje plik konfiguracyjny przekazywany do polecenia start-table-migration. Taki plik warto traktować jak artefakt wersjonowany razem z kodem — zmiana parametrów migracji powinna być widoczna w historii zmian, podobnie jak zmiana konfiguracji infrastruktury.

W konfiguracji można ustawić completeWorkflowOnSuccess na false, aby proces nie zakończył się automatycznie po sukcesie. To daje czas na weryfikację raportu i wyników przed promowaniem tabeli do trybu read-write. Połączenie tego parametru z reviewMigrationPlan daje dwa punkty kontrolne: jeden przed kopiowaniem danych, drugi przed zakończeniem migracji.

Kryteria akceptacji wdrożenia

Wdrożenie można uznać za zakończone, gdy spełnione są równocześnie następujące warunki: tabela docelowa jest w trybie read-write, zapisy trafiają wyłącznie do celu, wyniki zapytań porównawczych są zgodne ze źródłem na ustalonej próbce, czas odpowiedzi zapytań nie pogorszył się względem punktu odniesienia, koszt przechowywania i zapytań jest mierzony i mieści się w założeniach, a plan wycofania został przetestowany i nadal jest wykonalny w okresie karencji. Dopiero spełnienie wszystkich kryteriów pozwala uznać migrację danej tabeli za zamkniętą i przejść do kolejnej.

Źródła i materiały do dalszej weryfikacji

Artykuł jest autorskim opracowaniem przygotowanym na podstawie poniższych materiałów. Linki prowadzą do publikacji źródłowych.

  1. Amazon S3 Tables now offer managed migration of Apache Hive tables to Apache Iceberg | Amazon Web Services (aws.amazon.com)

Zdjęcie wyróżniające: Marta Branco / Pexels.

Masz pytanie do tego tematu? Napisz do nas — odpowiemy konkretnie.

Porozmawiajmy

Potrzebujesz kogoś, kto ogarnie technologię w Twojej firmie?

Porozmawiajmy o tym, co możemy przejąć, usprawnić albo zbudować. Pierwsza rozmowa jest bezpłatna i do niczego nie zobowiązuje.