Tutoriale how-to
Python do LLM w 2026: LangChain, LlamaIndex, fine-tuning — co
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
Przegląd bibliotek Python do budowania aplikacji LLM: LangChain, LlamaIndex, Hugging Face, vLLM, RAGAS. Które wybrać, jak je łączyć, bez zmyślonych testów.
Spis treści
- Czym są biblioteki Python do LLM?
- LangChain i LlamaIndex — orkiestracja i RAG
- Hugging Face Transformers i PyTorch — fine-tuning
- Axolotl i Unsloth — optymalizacja treningu
- vLLM i TGI — szybka inferencja
- LangGraph vs. CrewAI — systemy multi-agent
- Haystack — alternatywa dla RAG
- LangSmith i Weights & Biases — śledzenie eksperymentów
- RAGAS — ewaluacja RAG
- Który zestaw wybrać — praktyczne scenariusze
- Najczęstsze pytania
- Źródła
Czym są biblioteki Python do LLM?
Biblioteki Python do pracy z dużymi modelami językowymi to pakiety, które upraszczają integrację modeli z danymi, narzędziami i infrastrukturą. Nie są konieczne — można pisać kod bezpośrednio na SDK dostawcy — ale oszczędzają tysiące linii boilerplate'u. [1]
Główne kategorie to: orkiestracja (łączenie modelu z danymi i narzędziami), warstwę danych (indeksowanie i wyszukiwanie), trening (fine-tuning), serwowanie (inferencja na produkcji) i ewaluacja (pomiar jakości).
LangChain i LlamaIndex — orkiestracja i RAG
LangChain to framework do budowania łańcuchów operacji między modelami, bazami danych i narzędziami. [1] Pozwala definiować przepływy pracy, gdzie model dostaje kontekst z bazy, wykonuje narzędzie, i generuje odpowiedź. Dokumentacja opisuje go jako "unified API do integracji z modelami i usługami". [2]
LlamaIndex idzie o krok dalej — specjalizuje się w indeksowaniu dokumentów i wyszukiwaniu semantycznym. [3] Jeśli budujesz system RAG (Retrieval-Augmented Generation), gdzie model odpowiada na pytania na podstawie twoich dokumentów, LlamaIndex dostarcza komponenty do chunkowaniu, embeddingów i retrieverów. [4]
W praktyce: wrzucasz PDF-y, LlamaIndex buduje indeks wektorowy, a LangChain łączy indeks z modelem. Problem? LangChain ma stromą krzywą uczenia, a API zmienia się między wersjami. LlamaIndex jest bardziej stabilny, ale wymaga więcej konfiguracji.
| Aspekt | LangChain | LlamaIndex |
|---|---|---|
| Specjalizacja | Orkiestracja, agenci, łańcuchy | Warstwę danych, RAG, indeksowanie |
| Łatwość | Średnia — wiele abstrakcji | Średnia — więcej konfiguracji |
| Dokumentacja | Szybko się zmienia | Bardziej stabilna |
| Open source | Tak, MIT | Tak, MIT |
| Kiedy wybrać | Chatboty, multi-agent, integracje | Systemy RAG, praca z dokumentami |
Hugging Face Transformers i PyTorch — fine-tuning
Do dostrojenia modelu do polskiego języka lub specjalistycznej domeny startujesz od Hugging Face Transformers i PyTorch. [1] Transformers zawiera gotowe implementacje architektur (BERT, GPT, LLaMA), a PyTorch obsługuje trening na GPU.
Problem? PyTorch jest ciężki. Instalacja z CUDA na Windows bywa problematyczna, a trening modelu 7B na jednym GPU może zająć 48 godzin. W polskich realiach, gdzie dostęp do A100 jest limitowany, to realne ograniczenie.
Axolotl i Unsloth — optymalizacja treningu
Fine-tuning modeli 7B+ na jednym GPU to wyzwanie. Axolotl i Unsloth rozwiązują to przez techniki LoRA i QLoRA — zamiast trenować cały model, trenujesz małe adaptery. [1] Axolotl daje większą kontrolę, Unsloth jest prostszy.
Limitacja: Unsloth wspiera tylko wybrane modele. Jeśli chcesz fine-tuningu na nowej architekturze, Axolotl jest bezpieczniejszy.
vLLM i TGI — szybka inferencja
Po wytrenowaniu modelu trzeba go serwować. vLLM i TGI (Text Generation Inference) to biblioteki do szybkiej inferencji na produkcji. [1] vLLM używa PagedAttention do optymalizacji pamięci — w benchmarkach osiąga 2–3× większą przepustowość niż standardowe rozwiązania.
TGI od Hugging Face jest prostszy w konfiguracji, ale vLLM wygrywa wydajnością.
LangGraph vs. CrewAI — systemy multi-agent
Gdy potrzebujesz, żeby dwa modele ze sobą rozmawiały, wchodzą LangGraph i CrewAI. [1] LangGraph pozwala definiować grafy przepływu między agentami, CrewAI działa na zasadzie "zespołu" agentów z rolami.
LangGraph jest bardziej elastyczny — możesz zbudować dowolny graf, ale to oznacza więcej kodu. CrewAI jest prostszy: definiujesz agenta "analityka" i agenta "pisarza", dajesz im narzędzia, i działają.
Ograniczenie obu: problem z halucynacjami w komunikacji między agentami. Agent A mówi agentowi B coś, co nie jest prawdą, i B to powiela.
Haystack — alternatywa dla RAG
Haystack od deepset to framework do budowania pipeline'ów wyszukiwania i generowania. [1] W przeciwieństwie do LangChain, Haystack jest bardziej modułowy i lepiej udokumentowany. Ma wbudowane komponenty do OCR, ekstrakcji encji i klasyfikacji.
Dla polskiego kontekstu Haystack ma przewagę: lepiej radzi sobie z językami innymi niż angielski, bo używa modeli wielojęzycznych.
LangSmith i Weights & Biases — śledzenie eksperymentów
Bez monitorowania nie wiesz, czy twój model działa lepiej po fine-tuningu, czy gorzej. LangSmith od twórców LangChain śledzi trace'y zapytań — widzisz, co model dostał na wejściu i co wypluł. [5] Weights & Biases (wandb) to standard do logowania metryk treningowych.
LangSmith jest płatny poza darmowym tierem (do 1000 trace'y/miesiąc). [5] Dla małej firmy to może być bariera.
RAGAS — ewaluacja RAG
RASAS to biblioteka do oceny jakości systemów RAG. [1] Mierzy takie metryki jak faithfulness (czy odpowiedź wynika z kontekstu), answer relevancy i context precision. Narzędzie jest darmowe i open source.
Który zestaw wybrać — praktyczne scenariusze
Prosty chatbot na dokumentach: LangChain + LlamaIndex + vLLM. Startujesz w 2 dni.
Fine-tuning modelu do polskiego języka: Hugging Face Transformers + Axolotl + Weights & Biases.
System multi-agent do automatyzacji procesów: LangGraph + CrewAI + LangSmith. Wymaga 2–3 tygodni developmentu.
Ewaluacja i monitoring: RAGAS + LangSmith. Darmowe na start, płatne przy skali.
Najczęstsze pytania
Czy muszę używać frameworka, czy mogę pisać kod bezpośrednio?
Możesz pisać bezpośrednio na SDK dostawcy (np. OpenAI SDK). Frameworki oszczędzają czas przy integracji wielu modeli, narzędzi i baz danych. Dla pojedynczego chatbota na OpenAI SDK wystarczy.
Czy LangChain i LlamaIndex się konkurują?
Nie — rozwiązują różne problemy. LangChain to orkiestracja, LlamaIndex to warstwę danych. Często są używane razem.
Ile kosztuje budowa aplikacji LLM?
Koszt biblioteki (darmowe) to mały ułamek. Główne koszty to: API modelu (OpenAI, Anthropic), baza wektorowa, hosting/GPU, przechowywanie danych. Dla chatbota na 1000 zapytań/miesiąc: ~50–200 PLN na API + ~100–500 PLN na hosting.
Czy biblioteki rozwiązują problem halucynacji?
Nie. Biblioteki pomagają strukturyzować kod, ale nie leczą halucynacji modelu. To ograniczenie samego LLM, nie narzędzi.
Czy warto inwestować w fine-tuning?
Tak, jeśli masz specjalistyczną domenę (prawo, medycyna) i wystarczająco danych treningowych (≥1000 przykładów). Dla ogólnych zadań fine-tuning zwykle nie daje zwrotu.
Źródła
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji