Tutoriale how-to
Automatyczna synchronizacja baz wiedzy w Amazon Bedrock
Zaktualizowano: Autor: Andrzej Niemiec10 min czytania
Jak zautomatyzować synchronizację danych S3 z Amazon Bedrock Knowledge Bases za pomocą EventBridge, Lambda i Step Functions. Przewodnik.
Spis treści
- Dlaczego ręczna synchronizacja baz wiedzy w Amazon Bedrock to wąskie gardło?
- Jak działa architektura event-driven do automatycznej synchronizacji?
- Event-driven vs. harmonogramy cron: Kiedy wybrać każde podejście?
- Krok po kroku: Implementacja automatycznej synchronizacji
- Jakie są rzeczywiste limity API Amazon Bedrock?
- Czy Managed Knowledge Base zmienia podejście do synchronizacji?
- Jak optymalizować koszty synchronizacji?
- Najczęstsze pytania
- Źródła
Dlaczego ręczna synchronizacja baz wiedzy w Amazon Bedrock to wąskie gardło?
Amazon Bedrock Knowledge Bases przechowują dane w bazie wektorowej, ale nie łączą się automatycznie ze źródłami danych takimi jak S3. Każda zmiana w dokumentach wymaga ręcznego uruchomienia synchronizacji przez konsolę AWS lub API StartIngestionJob [1]. W praktyce oznacza to:
- Brak natychmiastowego dostępu do zaktualizowanych dokumentów w systemach RAG,
- Ryzyko ludzkich błędów (pominięcie pliku, błędna konfiguracja),
- Operacyjne obciążenie zespołu DevOps, które mogłoby skupić się na optymalizacji modeli.
Dodatkowy problem to limity API. Domyślnie można uruchamiać maksymalnie 0,1 żądania na sekundę dla StartIngestionJob, co w praktyce oznacza jedno żądanie co 10 sekund [1]. Przy dużych zmianach danych (np. 100 plików dziennie) ręczne uruchamianie jobów szybko staje się niewykonalne.
Jak działa architektura event-driven do automatycznej synchronizacji?
Rozwiązanie event-driven eliminuje ręczne interwencje, reagując automatycznie na zmiany w S3. AWS opublikował 29 kwietnia 2026 r. referencyjną architekturę, która wykorzystuje:
- EventBridge – nasłuchuje zdarzeń S3 (upload, zmiana, usunięcie pliku),
- Lambda – sprawdza plik i uruchamia job ingestii w Bedrock,
- SQS – buforuje żądania, aby nie przekroczyć limitów API,
- Step Functions – orkiestruje workflow i obsługuje błędy,
- DynamoDB – przechowuje metadane i stan synchronizacji [1].
Dzięki tej architekturze synchronizacja uruchamia się w ciągu sekund od zmiany w S3, bez ręcznej interwencji. Kolejka SQS zapewnia, że żądania są przetwarzane w tempie zgodnym z limitami API.
Event-driven vs. harmonogramy cron: Kiedy wybrać każde podejście?
Amazon Bedrock oferuje dwa sposoby synchronizacji:
| Podejście | Opóźnienie | Koszty | Przypadek użycia |
|---|---|---|---|
| Event-driven (S3 Events + Lambda) | Sekundy | Niskie (płacisz za Lambda i SQS) | Częste zmiany, wymagana szybka aktualizacja bazy wiedzy |
| Harmonogramy cron (Step Functions, EventBridge Rules) | Minuty–godziny | Niskie (stały koszt) | Synchronizacja raz dziennie lub tygodniowo |
| Managed Knowledge Base – natywne harmonogramy (od września 2026) | Minuty–godziny | Zależy od planu | Małe zespoły, brak zasobów na custom pipeline [6] |
Dla zespołów z dynamiczną bazą wiedzy (np. dokumentacja zmienia się kilka razy dziennie) event-driven jest optymalny. Dla statycznych baz wystarczy harmonogram cron.
Krok po kroku: Implementacja automatycznej synchronizacji
1. Konfiguracja S3 i EventBridge do detekcji zmian
Pierwszy krok to przygotowanie S3 do wysyłania zdarzeń:
- Włącz EventBridge dla bucketu S3 w konsoli AWS (sekcja Event notifications).
- Utwórz regułę EventBridge, która nasłuchuje zdarzeń
PutObjectiCompleteMultipartUploaddla konkretnego prefiksu (np.dokumenty/). - Ogranicz zdarzenia do obsługiwanych formatów (PDF, TXT, HTML, DOCX), aby uniknąć triggerowania jobów dla nieobsługiwanych plików [7].
EventBridge automatycznie filtruje zdarzenia i przesyła je do Lambda.
2. Tworzenie Lambda function do triggerowania jobów
Lambda pełni rolę pośrednika między S3 a Bedrock. Powinna:
- Sprawdzić format i rozmiar pliku (maksymalnie 50 MB na plik) [7],
- Wysłać żądanie
StartIngestionJobdo Bedrock, - Obsługiwać błędy (retry, logging).
Lambda musi mieć uprawnienia do:
- Odczytu z S3 (
s3:GetObject), - Uruchamiania jobów w Bedrock (
bedrock-agent:StartIngestionJob), - Wysyłania wiadomości do SQS (
sqs:SendMessage), - Logowania w CloudWatch [1].
3. Integracja z SQS i Step Functions do zarządzania limitami
Direct wywołanie StartIngestionJob z Lambda może spowodować throttling. Rozwiązanie:
- Lambda wysyła wiadomość do SQS zamiast bezpośrednio wywoływać Bedrock.
- Step Functions czyta z SQS i uruchamia joby w tempie zgodnym z limitami (maksymalnie 0,1 żądania/s) [1].
- DynamoDB przechowuje stan – które pliki zostały już zsynchronizowane, aby uniknąć duplikatów.
Ta architektura gwarantuje, że nigdy nie przekroczysz limitów API, niezależnie od liczby zmian w S3.
4. Monitorowanie w CloudWatch
Skonfiguruj dashboarda CloudWatch z metrykami:
- Liczba uruchomionych jobów (
IngestionJobsStarted), - Liczba failed jobów (
IngestionJobsFailed), - Czas trwania synchronizacji (
IngestionJobDuration), - Długość kolejki SQS (
ApproximateNumberOfMessagesVisible).
Ustaw alerty na krytyczne zdarzenia (np. IngestionJobsFailed > 0 lub ApproximateNumberOfMessagesVisible > 100) [1].
Jakie są rzeczywiste limity API Amazon Bedrock?
Amazon Bedrock ma kilka limitów, które wpływają na synchronizację:
| Limit | Wartość | Wpływ |
|---|---|---|
Żądania StartIngestionJob na sekundę | 0,1 (jedno co 10 sekund) | Wymaga kolejki do buforowania żądań [1] |
| Maksymalny rozmiar pliku | 50 MB | Duże dokumenty trzeba dzielić [7] |
| Równoległość jobów (domyślnie) | 5 na konto, 1 na Knowledge Base | Można podwyższyć przez Service Quotas [1] |
| Liczba dokumentów w bezpośredniej ingestii | 10 na żądanie | Dla szybkiego dodania dokumentów [9] |
Limity są regionalne i mogą się zmieniać. Sprawdź bieżące wartości w Service Quotas dla Twojego konta AWS.
Czy Managed Knowledge Base zmienia podejście do synchronizacji?
Od września 2026 r. Amazon Bedrock Managed Knowledge Base obsługuje natywne harmonogramy synchronizacji dla konektorów danych (S3, Salesforce, SharePoint) [6]. Oznacza to:
- Brak potrzeby custom pipeline'u – synchronizacja jest zarządzana przez AWS,
- Harmonogramy dzienne, tygodniowe, miesięczne – wybierasz częstotliwość,
- Niższe koszty operacyjne – nie płacisz za Lambda, SQS, Step Functions.
Jeśli Twoja baza wiedzy zmienia się raz dziennie, Managed Knowledge Base może być wystarczająca. Dla zmian w ciągu minut event-driven pipeline nadal jest konieczny.
Jak optymalizować koszty synchronizacji?
Automatyczna synchronizacja generuje koszty za Lambda, SQS i CloudWatch. Aby je zmniejszyć:
- Debouncing zdarzeń – zamiast uruchamiać job dla każdego pliku, czekaj 5 minut i synchronizuj wszystkie zmiany razem [1].
- Filtrowanie plików – ignoruj pliki, które nie zmieniły się (porównaj hash).
- Dzielenie dużych plików – pliki >50 MB trzeba dzielić przed ingestią, co zwiększa liczbę jobów [7].
- Harmonogramy zamiast event-driven – jeśli zmiany są rzadkie, cron jest tańszy.
Przypada około 0,20 USD za job ingestii (koszt Bedrock) + koszty Lambda i SQS (~0,01 USD za 100 jobów). Przy 100 jobach dziennie to około 20 USD/miesiąc.
Najczęstsze pytania
Czy synchronizacja w Bedrock jest rzeczywista, czy tylko przyrostowa?
Synchronizacja jest przyrostowa – Bedrock śledzi, które pliki zostały już przetworzone, i przetwarzuje tylko zmiany od ostatniego uruchomienia [4]. Oznacza to, że ponowne uruchomienie synchronizacji dla tego samego pliku nie powoduje duplikatów w bazie wiedzy.
Czy mogę synchronizować dane z innych źródeł niż S3?
Amazon Bedrock obsługuje konektory do S3, Salesforce, SharePoint i Web Crawler [2]. Dla innych źródeł (np. baza danych SQL) musisz najpierw wyeksportować dane do S3 lub użyć bezpośredniej ingestii API [9].
Co się stanie, jeśli przekroczę limit 0,1 żądania/s?
Bedrock zwróci ThrottlingException [5]. Rozwiązanie: użyj SQS i Step Functions do buforowania żądań, jak opisano w architekturze AWS [1].
Czy mogę usunąć dokument z bazy wiedzy?
Tak, ale nie automatycznie. Musisz ręcznie usunąć dokument z Knowledge Base przez konsolę lub API. Usunięcie pliku z S3 nie powoduje automatycznego usunięcia dokumentu z bazy wiedzy [4].
Ile czasu trwa synchronizacja jednego pliku?
Zależy od rozmiaru i formatu. Typowo 1–5 minut dla pliku PDF o rozmiarze 10 MB. Duże pliki (50 MB) mogą trwać 10–15 minut [1].
Źródła
- Build and deploy an automatic sync solution for Amazon Bedrock Knowledge Bases (AWS, 2026)
- Knowledge bases for Amazon Bedrock - AWS Prescriptive Guidance (AWS)
- Automatically sync data to Amazon Bedrock (AWS Knowledge Center)
- Sync a data source - Amazon Bedrock (AWS Documentation)
- StartIngestionJob - Amazon Bedrock API Reference (AWS)
- Amazon Bedrock Managed Knowledge Base now supports automatic sync scheduling for data source connectors (AWS, 2026)
- Prerequisites for your Amazon Bedrock knowledge base data (AWS Documentation)
- Connect to Amazon S3 for your knowledge base (AWS Documentation)
- Ingest documents directly into a knowledge base (AWS Documentation)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji