Tutoriale how-to
Lokalne modele AI w Chrome Extension: jak uruchomić Transformers.js
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
Przewodnik po uruchamianiu modeli Hugging Face lokalnie w rozszerzeniu Chrome. Transformers.js, Manifest V3, optymalizacja pamięci i praktyczne przykłady…
Spis treści
- Dlaczego warto uruchamiać modele AI w Chrome Extension?
- Jakie modele Hugging Face działają w Transformers.js?
- Krok po kroku: Tworzenie Chrome Extension z Transformers.js
- Optymalizacja wydajności: jak zmieścić model w rozszerzeniu
- Praktyczne zastosowania dla firm
- Ograniczenia Transformers.js w Chrome Extension
- Co dalej? Skalowanie i integracja
- Najczęstsze pytania
- Źródła
Dlaczego warto uruchamiać modele AI w Chrome Extension?
Przesyłanie każdego zapytania do zdalnego API generuje koszty transferu, opóźnienia sieciowe i ryzyko wycieku danych. Transformers.js wykonuje inferencję w przeglądarce — model pobiera się raz, następnie pracuje offline bez połączenia z internetem [1]. To szczególnie ważne dla branż regulowanych: medycyna, finanse, administracja publiczna, gdzie dane klientów nie mogą opuszczać urządzenia.
Drugi argument to wydajność. Inferencja lokalna na CPU eliminuje opóźnienia API; dla małych modeli (np. DistilBERT ~50 MB) odpowiedź pojawia się w kilkaset milisekund [1]. Trzeci — brak limitów zapytań i subskrypcji. Po zainstalowaniu rozszerzenia użytkownik ma dostęp do modelu bez kluczy API, kredytów ani ograniczeń tokenów.
Jakie modele Hugging Face działają w Transformers.js?
Nie każdy model z Hugging Face Hub nadaje się do przeglądarki. Transformers.js wymaga modeli z wagami ONNX; biblioteka obsługuje głównie architektury transformatorowe [1]:
- BERT i DistilBERT: najmniejsze wersje (~50 MB) do klasyfikacji tekstu, analizy sentymentu, ekstrakcji encji [1].
- T5: modele
t5-small(200 MB) it5-base(800 MB) do tłumaczenia, generowania tekstu, podsumowań [1]. - Whisper tiny: wersja 75 MB do rozpoznawania mowy offline [1].
- Vision Transformers (ViT): modele do analizy obrazów, np.
vit-base-patch16-224(340 MB), wymagają WebGL [1].
Kryterium wyboru to balans między jakością a rozmiarem. Dla polskiego e-commerce analizującego opinie o produktach DistilBERT wystarczy — ma 97% skuteczności BERT-a przy 1/4 rozmiaru [1]. Jeśli potrzebujesz generowania tekstu, T5-small to minimum, ale pamiętaj o kwantyzacji (redukcja rozmiaru o 75%) [1].
Krok po kroku: Tworzenie Chrome Extension z Transformers.js
1. Konfiguracja środowiska
Zacznij od zainstalowania Node.js (v18+) i npm. Utwórz nowy projekt:
mkdir chrome-transformers-extension
cd chrome-transformers-extension
npm init -y
npm install @xenova/transformers
2. Struktura rozszerzenia
Stwórz pliki:
manifest.json
background.js
content.js
popup.html
3. Manifest V3
Plik manifest.json musi zawierać uprawnienia dla Transformers.js [3]:
{
"manifest_version": 3,
"name": "AI Analyzer",
"version": "1.0",
"permissions": ["scripting", "activeTab"],
"background": {
"service_worker": "background.js"
},
"action": {
"default_popup": "popup.html"
}
}
Manifest V3 wymaga Service Worker zamiast tradycyjnego background script. Service Worker ma limit 5 minut bezczynności — po tym czasie Chrome go wyłącza [3].
4. Ładowanie modelu w background.js
import { pipeline } from '@xenova/transformers';
// Ładowanie modelu przy starcie
const classifier = await pipeline('sentiment-analysis', 'Xenova/distilbert-base-uncased-finetuned-sst-2-english');
// Nasłuchiwanie wiadomości z content script
chrome.runtime.onMessage.addListener((request, sender, sendResponse) => {
if (request.action === 'analyze') {
classifier(request.text).then(result => {
sendResponse(result);
});
return true; // Pozwala na asynchroniczną odpowiedź
}
});
5. Integracja z content script
W content.js wysyłaj tekst do analizy [6]:
const text = document.body.innerText;
chrome.runtime.sendMessage({ action: 'analyze', text }, (response) => {
console.log('Sentiment:', response);
});
6. Obsługa błędów pamięciowych
Chrome zabija rozszerzenia, które przekraczają ~1.5 GB pamięci [9]. Aby tego uniknąć:
- Użyj
OffscreenCanvasdo odciążenia głównego wątku. - Zwolnij pamięć po inferencji:
classifier.model.dispose().
Optymalizacja wydajności: jak zmieścić model w rozszerzeniu
Kwantyzacja: mniejszy model, ta sama jakość
Transformers.js oferuje kwantyzację — redukcję rozmiaru modelu o 75% przy minimalnej utracie dokładności [1]. Dla DistilBERT:
- Przed: 200 MB
- Po: 50 MB
Aby zastosować kwantyzację, dodaj flagę przy ładowaniu modelu [1]:
const classifier = await pipeline('sentiment-analysis', 'Xenova/distilbert-base-uncased-finetuned-sst-2-english', {
quantized: true
});
Caching w IndexedDB
Pierwsze ładowanie modelu trwa ~5 sekund. Kolejne — 500 ms, jeśli zapiszesz go w IndexedDB [7]. Implementacja [4]:
import { env } from '@xenova/transformers';
env.localModelPath = '/models'; // Ścieżka do IndexedDB
env.allowLocalModels = true; // Zezwól na lokalne modele
Ograniczenia pamięciowe
Chrome ma limit ~4 GB dla rozszerzeń, ale modele AI nie powinny przekraczać 1–2 GB [9]. Jeśli model jest większy:
- Podziel go na części i ładuj sekwencyjnie.
- Użyj mniejszego modelu (np.
distilbertzamiastbert-base).
Praktyczne zastosowania dla firm
Analiza sentymentu dla e-commerce
Polski sklep internetowy może wdrożyć rozszerzenie do monitorowania opinii na platformach sprzedażowych. Model DistilBERT analizuje recenzje w czasie rzeczywistym i oznacza negatywne komentarze flagą "Wymaga interwencji" [1]. Wdrożenie nie wymaga backendu ani subskrypcji API.
Podsumowywanie artykułów dla mediów
Serwis informacyjny może użyć T5-small do generowania streszczeń artykułów na stronie głównej. Model działa lokalnie, więc nie ma opóźnień związanych z API [1].
Chatbot lokalny w fintechu
Polska firma z sektora finansowego może zintegrować model do transkrypcji rozmów z klientami. Dane nie opuszczają przeglądarki, co spełnia wymogi RODO i rekomendacji KNF [1].
Ograniczenia Transformers.js w Chrome Extension
Problem z pamięcią
Chrome zabija rozszerzenia, które przekraczają ~1.5 GB pamięci [9]. Rozwiązania:
- Użyj mniejszych modeli (np. DistilBERT zamiast BERT).
- Zastosuj kwantyzację (redukcja rozmiaru o 75%) [1].
- Ładuj modele w częściach i zwalniaj pamięć po inferencji.
Brak wsparcia dla niektórych tokenizatorów
Transformers.js nie obsługuje wszystkich tokenizatorów Hugging Face, np. niestandardowych implementacji dla języków azjatyckich [1]. Alternatywy:
- Użyj tokenizatora wbudowanego w model.
- Zaimplementuj własny tokenizator w JavaScript.
Debugowanie
Narzędzia do debugowania rozszerzeń Chrome (DevTools) nie pokazują zużycia pamięci przez WebAssembly. Aby monitorować pamięć:
- Użyj
performance.memory(tylko w Chrome z flagą--enable-precise-memory-info). - Loguj czasy inferencji i zużycie CPU w konsoli.
Co dalej? Skalowanie i integracja
Integracja z backendem
Jeśli potrzebujesz zapisywać wyniki inferencji, użyj fetch do wysyłania danych do API [6]:
const response = await fetch('https://twoje-api.pl/analyze', {
method: 'POST',
body: JSON.stringify({ result })
});
Monitorowanie wydajności
Użyj narzędzi takich jak:
- Chrome DevTools: do profilowania CPU i pamięci.
- Lighthouse: do audytu wydajności rozszerzenia.
- Sentry: do monitorowania błędów w produkcji.
Przyszłość: WebGPU
Transformers.js planuje wsparcie dla WebGPU, co przyspieszy inferencję [1]. Dla polskich firm oznacza to możliwość uruchamiania większych modeli bezpośrednio w przeglądarce.
Najczęstsze pytania
Czy model pobiera się za każdym razem?
Nie. Transformers.js cache'uje model w IndexedDB po pierwszym pobraniu [4]. Kolejne uruchomienia rozszerzenia ładują model z cache'u w ~500 ms.
Czy dane użytkownika są wysyłane do Hugging Face?
Dane tekstowe i obrazy pozostają na urządzeniu [1]. Jednak pierwsze uruchomienie pobiera model i runtime z Hugging Face Hub; aby działać całkowicie offline, trzeba dostarczyć pliki lokalnie i ustawić env.allowRemoteModels = false [4].
Jaki model wybrać dla polskiego tekstu?
DistilBERT jest anglojęzyczny, ale działa na polskim tekście z rozsądną dokładnością dla klasyfikacji binarnej (pozytywny/negatywny) [1]. Dla wyższej precyzji rozważ polskie modele dostępne w Ollama, np. Bielik-11B-v3.0-Instruct, ale będą wymagać lokalnego serwera, nie rozszerzenia Chrome [10].
Czy mogę uruchomić duży model (70B parametrów)?
Nie w Chrome Extension. Rozszerzenia mają limit ~1.5 GB pamięci [9]. Duże modele wymagają lokalnego serwera (Ollama, LM Studio) lub chmury.
Ile czasu trwa pierwsze ładowanie modelu?
Zależy od rozmiaru modelu i szybkości internetu. DistilBERT (~50 MB) trwa ~5–10 sekund; T5-base (~800 MB) — kilka minut [1].
Źródła
- Transformers.js · Hugging Face
- GitHub - huggingface/transformers.js
- How to Use Transformers.js in a Chrome Extension
- env · Hugging Face
- The pipeline API · Hugging Face
- Building a Vanilla JavaScript Application · Hugging Face
- Use custom models · Hugging Face
- Running Transformers.js inside a Chrome extension (Manifest V3): a practical patch
- Rozszerzenia i AI | Chrome for Developers
- Lokalne LLM 2026 - Kompletny Przewodnik
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji