Przejdź do treści

Tutoriale how-to

Lokalne modele AI w Chrome Extension: jak uruchomić Transformers.js

Zaktualizowano: Autor: Andrzej Niemiec6 min czytania

Przewodnik po uruchamianiu modeli Hugging Face lokalnie w rozszerzeniu Chrome. Transformers.js, Manifest V3, optymalizacja pamięci i praktyczne przykłady…

Lokalne modele AI w Chrome Extension: jak uruchomić Transformers.js
Spis treści
  1. Dlaczego warto uruchamiać modele AI w Chrome Extension?
  2. Jakie modele Hugging Face działają w Transformers.js?
  3. Krok po kroku: Tworzenie Chrome Extension z Transformers.js
  4. Optymalizacja wydajności: jak zmieścić model w rozszerzeniu
  5. Praktyczne zastosowania dla firm
  6. Ograniczenia Transformers.js w Chrome Extension
  7. Co dalej? Skalowanie i integracja
  8. Najczęstsze pytania
  9. Źródła

Dlaczego warto uruchamiać modele AI w Chrome Extension?

Przesyłanie każdego zapytania do zdalnego API generuje koszty transferu, opóźnienia sieciowe i ryzyko wycieku danych. Transformers.js wykonuje inferencję w przeglądarce — model pobiera się raz, następnie pracuje offline bez połączenia z internetem [1]. To szczególnie ważne dla branż regulowanych: medycyna, finanse, administracja publiczna, gdzie dane klientów nie mogą opuszczać urządzenia.

Drugi argument to wydajność. Inferencja lokalna na CPU eliminuje opóźnienia API; dla małych modeli (np. DistilBERT ~50 MB) odpowiedź pojawia się w kilkaset milisekund [1]. Trzeci — brak limitów zapytań i subskrypcji. Po zainstalowaniu rozszerzenia użytkownik ma dostęp do modelu bez kluczy API, kredytów ani ograniczeń tokenów.

Jakie modele Hugging Face działają w Transformers.js?

Nie każdy model z Hugging Face Hub nadaje się do przeglądarki. Transformers.js wymaga modeli z wagami ONNX; biblioteka obsługuje głównie architektury transformatorowe [1]:

  • BERT i DistilBERT: najmniejsze wersje (~50 MB) do klasyfikacji tekstu, analizy sentymentu, ekstrakcji encji [1].
  • T5: modele t5-small (200 MB) i t5-base (800 MB) do tłumaczenia, generowania tekstu, podsumowań [1].
  • Whisper tiny: wersja 75 MB do rozpoznawania mowy offline [1].
  • Vision Transformers (ViT): modele do analizy obrazów, np. vit-base-patch16-224 (340 MB), wymagają WebGL [1].

Kryterium wyboru to balans między jakością a rozmiarem. Dla polskiego e-commerce analizującego opinie o produktach DistilBERT wystarczy — ma 97% skuteczności BERT-a przy 1/4 rozmiaru [1]. Jeśli potrzebujesz generowania tekstu, T5-small to minimum, ale pamiętaj o kwantyzacji (redukcja rozmiaru o 75%) [1].

Krok po kroku: Tworzenie Chrome Extension z Transformers.js

1. Konfiguracja środowiska

Zacznij od zainstalowania Node.js (v18+) i npm. Utwórz nowy projekt:

mkdir chrome-transformers-extension
cd chrome-transformers-extension
npm init -y
npm install @xenova/transformers

2. Struktura rozszerzenia

Stwórz pliki:

manifest.json
background.js
content.js
popup.html

3. Manifest V3

Plik manifest.json musi zawierać uprawnienia dla Transformers.js [3]:

{
  "manifest_version": 3,
  "name": "AI Analyzer",
  "version": "1.0",
  "permissions": ["scripting", "activeTab"],
  "background": {
    "service_worker": "background.js"
  },
  "action": {
    "default_popup": "popup.html"
  }
}

Manifest V3 wymaga Service Worker zamiast tradycyjnego background script. Service Worker ma limit 5 minut bezczynności — po tym czasie Chrome go wyłącza [3].

4. Ładowanie modelu w background.js

import { pipeline } from '@xenova/transformers';

// Ładowanie modelu przy starcie
const classifier = await pipeline('sentiment-analysis', 'Xenova/distilbert-base-uncased-finetuned-sst-2-english');

// Nasłuchiwanie wiadomości z content script
chrome.runtime.onMessage.addListener((request, sender, sendResponse) => {
  if (request.action === 'analyze') {
    classifier(request.text).then(result => {
      sendResponse(result);
    });
    return true; // Pozwala na asynchroniczną odpowiedź
  }
});

5. Integracja z content script

W content.js wysyłaj tekst do analizy [6]:

const text = document.body.innerText;
chrome.runtime.sendMessage({ action: 'analyze', text }, (response) => {
  console.log('Sentiment:', response);
});

6. Obsługa błędów pamięciowych

Chrome zabija rozszerzenia, które przekraczają ~1.5 GB pamięci [9]. Aby tego uniknąć:

  • Użyj OffscreenCanvas do odciążenia głównego wątku.
  • Zwolnij pamięć po inferencji: classifier.model.dispose().

Optymalizacja wydajności: jak zmieścić model w rozszerzeniu

Kwantyzacja: mniejszy model, ta sama jakość

Transformers.js oferuje kwantyzację — redukcję rozmiaru modelu o 75% przy minimalnej utracie dokładności [1]. Dla DistilBERT:

  • Przed: 200 MB
  • Po: 50 MB

Aby zastosować kwantyzację, dodaj flagę przy ładowaniu modelu [1]:

const classifier = await pipeline('sentiment-analysis', 'Xenova/distilbert-base-uncased-finetuned-sst-2-english', {
  quantized: true
});

Caching w IndexedDB

Pierwsze ładowanie modelu trwa ~5 sekund. Kolejne — 500 ms, jeśli zapiszesz go w IndexedDB [7]. Implementacja [4]:

import { env } from '@xenova/transformers';

env.localModelPath = '/models'; // Ścieżka do IndexedDB
env.allowLocalModels = true; // Zezwól na lokalne modele

Ograniczenia pamięciowe

Chrome ma limit ~4 GB dla rozszerzeń, ale modele AI nie powinny przekraczać 1–2 GB [9]. Jeśli model jest większy:

  • Podziel go na części i ładuj sekwencyjnie.
  • Użyj mniejszego modelu (np. distilbert zamiast bert-base).

Praktyczne zastosowania dla firm

Analiza sentymentu dla e-commerce

Polski sklep internetowy może wdrożyć rozszerzenie do monitorowania opinii na platformach sprzedażowych. Model DistilBERT analizuje recenzje w czasie rzeczywistym i oznacza negatywne komentarze flagą "Wymaga interwencji" [1]. Wdrożenie nie wymaga backendu ani subskrypcji API.

Podsumowywanie artykułów dla mediów

Serwis informacyjny może użyć T5-small do generowania streszczeń artykułów na stronie głównej. Model działa lokalnie, więc nie ma opóźnień związanych z API [1].

Chatbot lokalny w fintechu

Polska firma z sektora finansowego może zintegrować model do transkrypcji rozmów z klientami. Dane nie opuszczają przeglądarki, co spełnia wymogi RODO i rekomendacji KNF [1].

Ograniczenia Transformers.js w Chrome Extension

Problem z pamięcią

Chrome zabija rozszerzenia, które przekraczają ~1.5 GB pamięci [9]. Rozwiązania:

  • Użyj mniejszych modeli (np. DistilBERT zamiast BERT).
  • Zastosuj kwantyzację (redukcja rozmiaru o 75%) [1].
  • Ładuj modele w częściach i zwalniaj pamięć po inferencji.

Brak wsparcia dla niektórych tokenizatorów

Transformers.js nie obsługuje wszystkich tokenizatorów Hugging Face, np. niestandardowych implementacji dla języków azjatyckich [1]. Alternatywy:

  • Użyj tokenizatora wbudowanego w model.
  • Zaimplementuj własny tokenizator w JavaScript.

Debugowanie

Narzędzia do debugowania rozszerzeń Chrome (DevTools) nie pokazują zużycia pamięci przez WebAssembly. Aby monitorować pamięć:

  • Użyj performance.memory (tylko w Chrome z flagą --enable-precise-memory-info).
  • Loguj czasy inferencji i zużycie CPU w konsoli.

Co dalej? Skalowanie i integracja

Integracja z backendem

Jeśli potrzebujesz zapisywać wyniki inferencji, użyj fetch do wysyłania danych do API [6]:

const response = await fetch('https://twoje-api.pl/analyze', {
  method: 'POST',
  body: JSON.stringify({ result })
});

Monitorowanie wydajności

Użyj narzędzi takich jak:

  • Chrome DevTools: do profilowania CPU i pamięci.
  • Lighthouse: do audytu wydajności rozszerzenia.
  • Sentry: do monitorowania błędów w produkcji.

Przyszłość: WebGPU

Transformers.js planuje wsparcie dla WebGPU, co przyspieszy inferencję [1]. Dla polskich firm oznacza to możliwość uruchamiania większych modeli bezpośrednio w przeglądarce.

Najczęstsze pytania

Czy model pobiera się za każdym razem?

Nie. Transformers.js cache'uje model w IndexedDB po pierwszym pobraniu [4]. Kolejne uruchomienia rozszerzenia ładują model z cache'u w ~500 ms.

Czy dane użytkownika są wysyłane do Hugging Face?

Dane tekstowe i obrazy pozostają na urządzeniu [1]. Jednak pierwsze uruchomienie pobiera model i runtime z Hugging Face Hub; aby działać całkowicie offline, trzeba dostarczyć pliki lokalnie i ustawić env.allowRemoteModels = false [4].

Jaki model wybrać dla polskiego tekstu?

DistilBERT jest anglojęzyczny, ale działa na polskim tekście z rozsądną dokładnością dla klasyfikacji binarnej (pozytywny/negatywny) [1]. Dla wyższej precyzji rozważ polskie modele dostępne w Ollama, np. Bielik-11B-v3.0-Instruct, ale będą wymagać lokalnego serwera, nie rozszerzenia Chrome [10].

Czy mogę uruchomić duży model (70B parametrów)?

Nie w Chrome Extension. Rozszerzenia mają limit ~1.5 GB pamięci [9]. Duże modele wymagają lokalnego serwera (Ollama, LM Studio) lub chmury.

Ile czasu trwa pierwsze ładowanie modelu?

Zależy od rozmiaru modelu i szybkości internetu. DistilBERT (~50 MB) trwa ~5–10 sekund; T5-base (~800 MB) — kilka minut [1].

Źródła

  1. Transformers.js · Hugging Face
  2. GitHub - huggingface/transformers.js
  3. How to Use Transformers.js in a Chrome Extension
  4. env · Hugging Face
  5. The pipeline API · Hugging Face
  6. Building a Vanilla JavaScript Application · Hugging Face
  7. Use custom models · Hugging Face
  8. Running Transformers.js inside a Chrome extension (Manifest V3): a practical patch
  9. Rozszerzenia i AI | Chrome for Developers
  10. Lokalne LLM 2026 - Kompletny Przewodnik
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji