Na arXiv opublikowano preprint „Memorilla: Latent Semantic Memory for LLMs”, w którym zespół siedmiu autorów opisuje system pamięci dla zamrożonych modeli językowych. Zamiast wrzucać do okna kontekstu całe dokumenty, Memorilla koduje je raz do embeddingów, a następnie dobiera informacje potrzebne do konkretnego zapytania i umieszcza je w przestrzeni embeddingów wejścia modelu. Cała ta reprezentacja zajmuje 16 tokenów pamięci.
Sprawa dotyczy przede wszystkim zespołów, które budują systemy RAG, asystentów z pamięcią rozmów albo agentów operujących na rosnącej liczbie dokumentów. Jest ważna z dwóch powodów. Po pierwsze, autorzy raportują wyniki lepsze od Mem0 i MemoRAG na pięciu z ośmiu benchmarków. Po drugie, na FactKG osiągają 84,33% dokładności wobec 80,43% przy wnioskowaniu z pełnym kontekstem, zużywając przy tym 108 razy mniej tokenów reprezentujących dokumenty źródłowe. To liczby, które bezpośrednio przekładają się na koszt wywołań modelu i na to, jak dużo wiedzy da się realnie utrzymać w kontekście. Zastrzeżenie jest jednak istotne: to preprint, nie recenzowana publikacja, a wyniki dotyczą konkretnych benchmarków i konkretnego układu eksperymentalnego.
Co dokładnie zrobili autorzy
Preprint ma numer arXiv:2610.21375 i kategorię cs.LG. Wersja pierwsza trafiła na serwer 15 października 2026 roku, trzecia 3 listopada 2026 roku. Autorzy to Adibvafa Fallahpour, Parsa Idehpour, Vignesh Kothapalli, Nikita Mounier, Shirley Wu, Shayan Pardis i Jure Leskovec. DOI preprintu to 10.48550/arXiv.2610.21375.
Opisana architektura opiera się na trzech krokach. Dokumenty — czaty użytkownika, rozdziały książek, wcześniejsze kroki agenta — są jednorazowo kodowane do embeddingów, które można wykorzystać ponownie. Następnie system uczy się, jak dla danego zapytania wybrać właściwe informacje i umieścić je w przestrzeni embeddingów wejścia zamrożonego modelu. Na końcu model generuje odpowiedź na podstawie tych 16 tokenów pamięci, a nie na podstawie surowego tekstu dokumentów.
To odróżnia podejście od klasycznego RAG. W typowym RAG-u wyszukujesz fragmenty tekstu, wklejasz je do promptu i płacisz za każdy token przy każdym zapytaniu. Tutaj płacisz za reprezentację raz, a przy zapytaniu przenosisz do modelu niewielką, wyuczoną porcję informacji. Autorzy podkreślają, że chodzi o model zamrożony — nie trzeba douczać wag LLM, żeby z pamięci korzystać.
Tło techniczne bez żargonu
Model językowy ma ograniczone okno kontekstu. Wszystko, co ma „wiedzieć” o rozmowie, dokumentach czy wcześniejszych działaniach, musi zmieścić się w tym oknie albo zostać wcześniej wchłonięte w wagi modelu. Douczanie wag jest kosztowne i trudne do aktualizacji. Wrzucanie wszystkiego do kontekstu jest proste, ale drogie i podatne na rozproszenie uwagi modelu przy długich wejściach.
Pamięć zewnętrzna to trzecia droga. System pamięci decyduje, co z zewnętrznego zbioru trafi do modelu. Klasyczne rozwiązania robią to na poziomie tekstu: wybierają fragmenty i wklejają je do promptu. Memorilla robi to na poziomie reprezentacji wewnętrznej — embeddingów. To subtelna, ale istotna różnica. Zamiast „wyślij modelowi te akapity” system mówi „wyślij modelowi tę wyuczoną reprezentację, która streszcza to, co istotne dla pytania”.
Konsekwencja praktyczna: liczba tokenów w kontekście przestaje rosnąć wraz z liczbą dokumentów. Rośnie natomiast złożoność warstwy, która te reprezentacje wybiera i przygotowuje. To nie jest darmowa oszczędność — przenosi koszt z wywołań modelu na infrastrukturę pamięci i uczenie mechanizmu selekcji.
Co mówią wyniki, a czego nie mówią
Autorzy deklarują najlepsze wyniki względem Mem0 i MemoRAG na pięciu z ośmiu benchmarków obejmujących personalizację, długie dokumenty i pytania wymagające wiedzy. To deklaracja z preprintu, nie niezależna weryfikacja. Warto ją czytać dosłownie: pięć z ośmiu, a nie osiem z ośmiu. Na pozostałych trzech benchmarkach Memorilla nie była najlepsza.
Najbardziej konkretne liczby dotyczą FactKG. Memorilla osiąga 84,33% dokładności, pełny kontekst 80,43%, a reprezentacja dokumentów źródłowych zajmuje 108 razy mniej tokenów. To wynik, który warto traktować jako punkt odniesienia, ale nie jako uniwersalną prawdę o wszystkich zbiorach danych. FactKG to specyficzny benchmark weryfikacji faktów, a nie reprezentacja całej pracy z dokumentami w firmie.
Drugi konkretny wynik dotyczy środowiska TextWorld, czyli gier tekstowych służących do testowania agentów. Memorilla poprawia średni wskaźnik sukcesu z 18,6% przy pełnej historii w kontekście do 24,2%. Autorzy zwracają też uwagę, że agent rzadziej błądzi między pokojami, które już odwiedził. To ciekawa obserwacja, bo dotyka problemu, który w praktyce bywa kosztowny: agent traci orientację w tym, co już zrobił, i powtarza kroki.
Jak czytać tabelę wyników
| Obszar | Co raportuje preprint | Jak to interpretować |
|---|---|---|
| Liczba tokenów pamięci | 16 tokenów na zapytanie | Stała, niewielka reprezentacja niezależna od liczby dokumentów |
| FactKG | 84,33% vs 80,43% przy pełnym kontekście | Przewaga na jednym, dobrze zdefiniowanym benchmarku weryfikacji faktów |
| Oszczędność tokenów | 108x mniej tokenów na dokumenty źródłowe | Argument kosztowy, ale przy założeniu, że mechanizm selekcji działa dobrze |
| Benchmarki ogólne | Najlepsza na 5 z 8 | Nie jest uniwersalnym zwycięzcą; na trzech przegrywa z Mem0 lub MemoRAG |
| TextWorld | 24,2% vs 18,6% sukcesu | Poprawa w wąskim środowisku agentowym, nie dowód na ogólną przewagę |
Realne konsekwencje dla firm
Najważniejsza konsekwencja jest ekonomiczna, ale nie tak prosta, jak sugeruje liczba 108x. W systemach RAG koszt tokenów wejściowych bywa dominujący przy dużych zbiorach dokumentów i częstych zapytaniach. Jeśli uda się zastąpić tysiące tokenów kontekstu szesnastoma tokenami pamięci, rachunek za wywołania modelu może spaść znacząco. Ale dochodzi koszt kodowania dokumentów, utrzymania embeddingów i warstwy selekcji. Bilans zależy od proporcji między liczbą dokumentów, liczbą zapytań i kosztem infrastruktury pamięci.
Druga konsekwencja dotyczy architektury. Systemy z pamięcią opartą na embeddingach inaczej podchodzą do aktualizacji wiedzy. W RAG-u podmieniasz fragment tekstu i przy następnym zapytaniu model widzi nową wersję. W pamięci latentnej musisz zadbać o to, żeby stara reprezentacja nie ciągnęła za sobą nieaktualnych informacji. To wymaga procesu unieważniania i ponownego kodowania, którego preprint nie opisuje w szczegółach na poziomie operacyjnym.
Trzecia konsekwencja dotyczy audytowalności. Kiedy model dostaje 16 tokenów pamięci, trudniej wskazać, na jakim dokumencie oparł odpowiedź. W RAG-u możesz pokazać użytkownikowi fragment źródłowy. Tutaj reprezentacja jest wyuczona i nieczytelna dla człowieka. Dla zastosowań regulowanych, na przykład w obsłudze reklamacji czy dokumentacji medycznej, to poważne ograniczenie, które trzeba rozwiązać osobno.
Scenariusze ryzyka
Ryzyko zawyżonych oczekiwań. Preprint nie jest recenzowany. Wyniki mogą się nie powtórzyć w niezależnych testach, a liczby dotyczą konkretnych benchmarków. Wdrożenie oparte wyłącznie na abstrakcie to ryzyko finansowe i reputacyjne.
Ryzyko utraty precyzji. 16 tokenów to bardzo mało. W zadaniach wymagających cytowania konkretnego zdania z umowy albo numeru paragrafu taka reprezentacja może gubić szczegóły. Wysoka średnia dokładność nie oznacza, że każda odpowiedź jest poprawna.
Ryzyko nieaktualnej wiedzy. Jeśli dokumenty zmieniają się często, a reprezentacje nie są odświeżane, model może odpowiadać na podstawie nieaktualnego stanu. To ryzyko szczególnie istotne w systemach, które mają pamiętać rozmowy użytkowników i ich preferencje.
Ryzyko prywatności. Pamięć zawiera informacje z rozmów i dokumentów. Trzeba wiedzieć, gdzie te reprezentacje są przechowywane, kto ma do nich dostęp i jak je usuwać na żądanie. Preprint opisuje mechanizm, nie politykę retencji.
Ryzyko uzależnienia od dostawcy. Jeśli mechanizm pamięci jest ściśle związany z konkretnym modelem i jego przestrzenią embeddingów, zmiana modelu może wymagać przebudowy całej pamięci.
Jak sprawdzić, czy problem dotyczy Twojej organizacji
Nie chodzi o to, czy „masz problem z Memorillą”, bo to preprint, a nie znana podatność. Chodzi o to, czy Twoje obecne rozwiązania cierpią na problemy, które Memorilla adresuje.
- Czy w Twoim systemie RAG koszt tokenów wejściowych rośnie szybciej niż liczba użytkowników?
- Czy przy długich rozmowach model gubi wcześniejsze ustalenia?
- Czy agenci powtarzają kroki, bo nie pamiętają, co już zrobili?
- Czy liczba dokumentów w kontekście jest ograniczana sztucznie, bo inaczej odpowiedź jest za droga?
- Czy potrafisz wskazać źródło odpowiedzi dla każdego zapytania?
- Czy masz proces usuwania danych użytkownika z pamięci systemu?
Jeśli na większość pytań odpowiadasz „tak” w pierwszej części i „nie” w drugiej, warto przyjrzeć się alternatywom dla klasycznego RAG-u — niekoniecznie od razu Memorilli.
Plan reakcji krok po kroku
- Zbierz dane o kosztach. Zmierz średnią liczbę tokenów wejściowych na zapytanie, koszt jednostkowy i udział dokumentów w kontekście. Bez tych liczb nie ocenisz, czy oszczędność 108x ma dla Ciebie znaczenie.
- Zidentyfikuj przypadki użycia. Oddziel zadania, w których liczy się cytowanie źródła, od tych, w których liczy się zwięzła odpowiedź. Pamięć latentna ma większy sens w drugiej grupie.
- Zbuduj własny zestaw testowy. Nie opieraj się na FactKG. Weź 100–300 realnych pytań ze swojej domeny i zmierz dokładność obecnego rozwiązania.
- Odtwórz baseline. Uruchom to samo na pełnym kontekście i na obecnym RAG-u. Zapisz koszt i jakość.
- Oceń wykonalność. Sprawdź, czy zespół ma kompetencje do trenowania warstwy selekcji i utrzymania embeddingów. To nie jest wdrożenie „z pudełka”.
- Zaplanuj pilotaż. Ogranicz go do jednego przypadku użycia i jednego modelu. Ustal kryteria sukcesu przed startem.
- Przygotuj plan wyjścia. Zadbaj o to, żeby pamięć dała się odtworzyć z oryginalnych dokumentów, gdyby eksperyment się nie udał.
Typowe błędy
Traktowanie preprintu jak produktu. Memorilla to opis metody badawczej, nie gotowe narzędzie z umową SLA. Wdrożenie produkcyjne wymaga własnej inżynierii.
Porównywanie tylko średniej dokładności. Benchmarki mierzą to, co mierzą. Wysoka średnia może ukrywać słabe wyniki w rzadkich, ale krytycznych przypadkach.
Ignorowanie kosztu warstwy pamięci. Oszczędność na tokenach nie jest oszczędnością całkowitą, jeśli trzeba utrzymywać dodatkową infrastrukturę i procesy.
Brak procesu aktualizacji. Pamięć, która nie jest odświeżana, z czasem staje się źródłem błędnych odpowiedzi.
Pomijanie kwestii prywatności. Reprezentacje embeddingowe nadal zawierają informacje o danych osobowych. Trzeba je objąć tym samym reżimem co oryginały.
Zakładanie, że wynik z jednego modelu przełoży się na inny. Przestrzeń embeddingów jest specyficzna dla modelu. Zmiana modelu to często zmiana całej pamięci.
Działania krótkoterminowe
- Zmierz obecne zużycie tokenów i koszt na zapytanie w systemach z RAG-iem.
- Wprowadź limit kontekstu i monitoruj, jak często model traci istotne informacje przy jego obcinaniu.
- Dodaj do logów informację, które fragmenty źródłowe trafiły do promptu — to podstawa audytu.
- Przejrzyj politykę retencji danych w pamięci rozmów i dokumentów.
- Wyznacz jedną osobę do śledzenia preprintów z obszaru pamięci LLM i raportowania co miesiąc.
Działania długoterminowe
- Zbuduj wewnętrzny benchmark z realnymi pytaniami z Twojej domeny, żeby móc porównywać kolejne podejścia.
- Rozdziel warstwę pamięci od warstwy modelu, żeby zmiana dostawcy LLM nie wymuszała przebudowy wszystkiego.
- Zaplanuj proces unieważniania i ponownego kodowania wiedzy przy zmianach dokumentów.
- Ustal, w których zastosowaniach wymagasz cytowania źródła, a w których wystarczy odpowiedź bez niego.
- Inwestuj w umiejętność oceny jakości odpowiedzi, nie tylko w infrastrukturę.
Checklista praktyczna
- Czy znasz średni koszt tokenów wejściowych na zapytanie?
- Czy wiesz, jaki procent kontekstu zajmują dokumenty źródłowe?
- Czy masz zestaw testowy z realnymi pytaniami?
- Czy potrafisz wskazać źródło każdej odpowiedzi?
- Czy masz proces usuwania danych użytkownika z pamięci?
- Czy pamięć jest odtwarzalna z oryginalnych dokumentów?
- Czy zmiana modelu LLM wymaga przebudowy pamięci?
- Czy zespół ma kompetencje do utrzymania warstwy selekcji?
- Czy ustaliłeś kryteria sukcesu przed pilotażem?
- Czy masz plan wyjścia, jeśli eksperyment się nie uda?
Co powinien zrobić właściciel firmy / administrator
Właściciel firmy. Nie traktuj preprintu jako zapowiedzi produktu. Traktuj go jako sygnał, że koszt kontekstu w systemach AI staje się obszarem inżynierii, a nie tylko rachunkiem od dostawcy. Zanim zdecydujesz o zmianie architektury, poproś zespół o dane: ile kosztuje obecny RAG, jakie ma słabe punkty i czy istnieje tańsza alternatywa. Nie zatwierdzaj pilotażu bez kryteriów sukcesu i planu wyjścia.
Administrator systemu. Sprawdź, gdzie przechowywane są embeddingi dokumentów i rozmów, kto ma do nich dostęp i jak długo są retencjonowane. Upewnij się, że usuwanie danych użytkownika obejmuje również reprezentacje pamięci, nie tylko oryginalne pliki. Zweryfikuj, czy logi pozwalają odtworzyć, jakie informacje trafiły do modelu przy danym zapytaniu. Przy pilotażu z nowym mechanizmem pamięci ustal limit dostępu i monitoruj nietypowe wzorce zapytań.
Zespół techniczny. Zanim zainwestujesz czas w odtwarzanie Memorilli, sprawdź, czy Twój problem to naprawdę koszt kontekstu, czy raczej jakość wyszukiwania. Często taniej jest poprawić retrieval niż przebudować pamięć. Jeśli decydujesz się na eksperyment, zacznij od jednego przypadku użycia i porównaj wyniki z pełnym kontekstem na własnych danych.
Co z tego zostaje
Memorilla pokazuje kierunek, w którym może iść inżynieria pamięci dla modeli językowych: mniej tekstu w kontekście, więcej pracy w warstwie reprezentacji. Liczby z preprintu są konkretne, ale dotyczą konkretnych warunków. Dla firm oznacza to przede wszystkim pytanie o własne koszty i własne słabe punkty, a nie o to, czy jutro zastąpić RAG nowym mechanizmem. Odpowiedź na to pytanie wymaga danych, których preprint nie dostarcza.
Praktyczna weryfikacja przed wdrożeniem: protokół testowy
Weryfikacja nie polega na odtworzeniu benchmarków z preprintu, lecz na sprawdzeniu, czy mechanizm pamięci latentnej zachowuje się akceptowalnie na Twoich danych i w Twoich warunkach. Poniższy protokół porządkuje tę pracę w sekwencję, którą można wykonać przed jakąkolwiek decyzją o pilocie.
Etap 1: zamrożenie warunków odniesienia
Zanim uruchomisz jakikolwiek eksperyment z pamięcią latentną, musisz mieć stabilny punkt odniesienia. Bez niego każdy wynik będzie nieinterpretowalny.
- Zapisz wersję modelu LLM użytego w baseline i nie zmieniaj jej w trakcie testów.
- Zapisz konfigurację obecnego RAG-u: liczbę fragmentów w kontekście, sposób ich wyboru, limit tokenów wejściowych.
- Ustal stały zestaw pytań testowych i nie modyfikuj go po zobaczeniu pierwszych wyników — inaczej dostroisz test do wyniku.
- Zarejestruj datę i wersję dokumentów źródłowych, na których pracujesz. Pamięć koduje stan z konkretnego momentu.
Etap 2: pomiar jakości w podziale na kategorie
Średnia dokładność z ośmiu benchmarków nie mówi nic o Twojej domenie. Podziel własny zestaw testowy na kategorie i raportuj wyniki osobno dla każdej z nich.
- Pytania wymagające cytowania konkretnego fragmentu — tu sprawdzasz, czy 16 tokenów pamięci wystarcza do wskazania źródła.
- Pytania wymagające syntezy wielu dokumentów — tu sprawdzasz, czy pamięć łączy informacje rozproszone.
- Pytania o informacje z wczesnej części długiej rozmowy — tu sprawdzasz odporność na rozrost historii.
- Pytania o informacje sprzeczne lub zaktualizowane — tu sprawdzasz, czy pamięć preferuje nowszy stan.
- Pytania, na które odpowiedzi nie ma w dokumentach — tu sprawdzasz, czy system odmawia odpowiedzi zamiast halucynować.
Dla każdej kategorii zapisz nie tylko dokładność, ale też odsetek odpowiedzi bez wskazania źródła. W zastosowaniach audytowalnych ten drugi wskaźnik bywa ważniejszy niż sam wynik dokładności.
Etap 3: pomiar kosztu całkowitego
Oszczędność tokenów to tylko jedna pozycja w rachunku. Zestaw ją z kosztami, które pojawiają się dopiero po wdrożeniu.
- Koszt jednorazowego zakodowania dokumentów do embeddingów — rośnie z liczbą dokumentów i częstotliwością ich zmian.
- Koszt utrzymania infrastruktury przechowującej reprezentacje — storage, kopie zapasowe, replikacja.
- Koszt warstwy selekcji — trenowanie i utrzymanie komponentu, który wybiera informacje do tokenów pamięci.
- Koszt ponownego kodowania przy każdej zmianie modelu bazowego.
- Koszt ludzkiej pracy przy audycie i obsłudze zgłoszeń dotyczących danych osobowych.
Dopiero suma tych pozycji zestawiona z oszczędnością na tokenach wejściowych daje obraz opłacalności. W wielu przypadkach przewaga może zniknąć, zwłaszcza przy małej skali zapytań.
Etap 4: testy odporności na zmiany
Mechanizm pamięci, który działa dobrze na statycznym zbiorze, może zawieść przy normalnej eksploatacji. Sprawdź to celowo, zanim zrobi to produkcja.
- Dodaj nowy dokument do kolekcji i sprawdź, czy pamięć uwzględnia go bez pełnego przekodowania.
- Usuń dokument i sprawdź, czy jego ślad znika z reprezentacji, czy tylko z oryginalnego źródła.
- Zmień treść istniejącego dokumentu i sprawdź, czy odpowiedzi odzwierciedlają nową wersję.
- Zwiększ liczbę dokumentów o rząd wielkości i sprawdź, czy jakość się nie załamuje.
- Zasymuluj scenariusz, w którym liczba tur rozmowy rośnie przez wiele sesji — to warunek testu ciągłego uczenia w systemach agentowych.
Monitoring po wdrożeniu: co mierzyć i jak często
Po uruchomieniu pilotażu potrzebujesz zestawu metryk, które wcześnie pokażą degradację. Pamięć latentna zmienia się wraz z danymi, więc monitoring musi obejmować zarówno jakość odpowiedzi, jak i stan samej pamięci.
Metryki jakości odpowiedzi
- Dokładność na stałym, zamrożonym zestawie kontrolnym — uruchamiana cyklicznie, np. co tydzień, na tych samych pytaniach.
- Odsetek odpowiedzi z podanym źródłem — jeśli spada, pamięć traci zdolność do wskazywania pochodzenia informacji.
- Odsetek odpowiedzi odmownych przy pytaniach spoza dokumentów — spadek oznacza wzrost halucynacji.
- Wskaźnik powtórzeń w systemach agentowych — czy agent wraca do już odwiedzonych kroków; w preprintcie właśnie ten problem był adresowany.
Metryki stanu pamięci
- Wiek reprezentacji — ile dni minęło od ostatniego zakodowania danego dokumentu.
- Udział dokumentów, których reprezentacja nie odpowiada aktualnej wersji źródła.
- Liczba reprezentacji bez powiązania z istniejącym dokumentem źródłowym — sygnał niepełnego usuwania.
- Rozmiar pamięci w przeliczeniu na użytkownika lub dokument — do wykrywania niekontrolowanego rozrostu.
Metryki kosztowe i operacyjne
- Średnia liczba tokenów wejściowych na zapytanie w porównaniu z baseline.
- Koszt jednostkowy zapytania z rozbiciem na model, pamięć i infrastrukturę pomocniczą.
- Czas odpowiedzi — warstwa selekcji dodaje opóźnienie, które trzeba zmierzyć osobno.
- Liczba zgłoszeń dotyczących danych osobowych i czas ich realizacji.
Progi alarmowe i reakcja
Dla każdej metryki ustal próg, po którego przekroczeniu uruchamiasz procedurę. Przykładowo: spadek dokładności na zestawie kontrolnym o więcej niż ustalony margines względem baseline, wzrost odsetka odpowiedzi bez źródła powyżej ustalonego poziomu, pojawienie się reprezentacji starszych niż przyjęty okres retencji. Reakcja powinna być zdefiniowana z góry: ponowne zakodowanie wskazanych dokumentów, wycofanie pamięci do poprzedniego stanu, czasowe przełączenie na pełny kontekst dla wybranych zapytań.
Checklisty operacyjne
Poniższe listy porządkują czynności, które łatwo pominąć przy przejściu od eksperymentu do eksploatacji. Każda pozycja powinna mieć przypisanego właściciela i termin.
Checklista przed uruchomieniem pilotażu
- Czy baseline jest zamrożony i udokumentowany?
- Czy zestaw testowy zawiera pytania z wszystkich kategorii wymienionych w protokole weryfikacji?
- Czy zmierzono koszt całkowity, a nie tylko koszt tokenów?
- Czy sprawdzono zachowanie pamięci przy dodaniu, usunięciu i zmianie dokumentu?
- Czy zdefiniowano progi alarmowe dla metryk monitoringu?
- Czy istnieje procedura wycofania pamięci do poprzedniego stanu?
- Czy pamięć jest odtwarzalna z oryginalnych dokumentów?
- Czy ustalono limit dostępu do reprezentacji pamięci?
Checklista przy każdej zmianie modelu bazowego
- Sprawdź, czy reprezentacje pamięci są zgodne z nową przestrzenią embeddingów.
- Zaplanuj ponowne zakodowanie dokumentów, jeśli zgodność nie jest zapewniona.
- Uruchom zestaw kontrolny na nowym modelu i porównaj z wynikami sprzed zmiany.
- Zaktualizuj dokumentację architektury, żeby nie pozostawić nieaktualnych założeń.
- Powiadom zespół odpowiedzialny za audyt o zmianie i jej wpływie na identyfikowalność źródeł.
Checklista okresowego przeglądu pamięci
- Czy wszystkie reprezentacje mają aktualne powiązanie ze źródłem?
- Czy reprezentacje starsze niż przyjęty okres retencji zostały usunięte lub odświeżone?
- Czy usunięcia danych użytkowników objęły również ich reprezentacje w pamięci?
- Czy logi pozwalają odtworzyć, jakie informacje trafiły do modelu przy danym zapytaniu?
- Czy metryki jakości utrzymują się w ustalonych progach?
- Czy koszt jednostkowy zapytania nie przekroczył założonego budżetu?
Kryteria zakończenia pilotażu
Pilotaż bez z góry ustalonych kryteriów zakończenia zamienia się w eksperyment bez końca. Ustal je przed startem i zapisz, jakie warunki muszą być spełnione łącznie, żeby przejść dalej, a jakie powodują zatrzymanie.
- Warunki kontynuacji: dokładność na zestawie kontrolnym nie niższa niż baseline w kategoriach krytycznych dla domeny, koszt jednostkowy zapytania niższy niż w baseline, brak naruszeń w zakresie retencji i usuwania danych.
- Warunki zatrzymania: spadek dokładności w kategoriach wymagających cytowania źródła, niemożność odtworzenia pamięci z oryginałów, przekroczenie progów alarmowych w monitoringu bez skutecznej reakcji.
- Warunki zawieszenia: niejasna sytuacja prawna dotycząca przechowywania reprezentacji, brak możliwości wskazania źródła odpowiedzi w wymaganym zakresie.
Kryteria powinny być znane właścicielowi biznesowemu i administratorowi systemu, nie tylko zespołowi technicznemu. Decyzja o kontynuacji lub zatrzymaniu należy do osób, które ponoszą odpowiedzialność za koszt i zgodność, a nie wyłącznie do tych, które budują mechanizm.
Źródła i materiały do dalszej weryfikacji
Artykuł jest autorskim opracowaniem przygotowanym na podstawie poniższych materiałów. Linki prowadzą do publikacji źródłowych.
- Memorilla: Latent Semantic Memory for LLMs (arxiv.org)
Zdjęcie wyróżniające: Google DeepMind / Pexels.


