Przejdź do treści

Narzędzia AI

K-Search na Apple Silicon: co potrafi automatyczne generowanie kerneli

Zaktualizowano: Autor: Andrzej Niemiec7 min czytania

K-Search generuje kernele GPU z pomocą modeli językowych i działa na Apple Silicon przez MLX. Wyjaśniamy, jakie wyniki osiągnął na Mambie i gdzie są jego granice.

Spis treści
  1. Czym właściwie jest K-Search?
  2. Jak K-Search obsługuje Apple Silicon?
  3. Na jakim sprzęcie i na jakich kernelach prowadzono testy?
  4. Ile wynosi przyspieszenie prefillingu Mamby?
  5. Skąd bierze się ten zysk?
  6. K-Search czy ręczna optymalizacja kerneli?
  7. Czy K-Search zastępuje pracę deweloperów?
  8. Co wiadomo o doniesieniach o polskim startupie Neurify?
  9. Jak zacząć z K-Search?
  10. Najczęstsze pytania
  11. Źródła

K-Search nie jest algorytmem wyszukiwania najbliższych sąsiadów, mimo że nazwa brzmi podobnie. To framework do automatycznego generowania i optymalizacji kerneli GPU. Model językowy planuje kolejne zmiany i generuje kod, a system kompiluje kandydatów oraz ocenia ich wydajność na rzeczywistym sprzęcie [1]. Projekt rozwijany jest publicznie w repozytorium GitHub [2]. Opis metody ukazał się w pracy poświęconej generowaniu kerneli z użyciem współewoluującego modelu świata [1].

Jak K-Search obsługuje Apple Silicon?

Apple Silicon nie wykonuje CUDA bezpośrednio, więc K-Search nie przenosi kodu jeden do jednego. Framework tłumaczy wiedzę o optymalizacji CUDA na strategie natywne dla architektury Apple i uruchamia je przez MLX oraz Metal [1][3]. Wygenerowane kernele są kompilowane i benchmarkowane na prawdziwym sprzęcie, a nie tylko symulowane [1]. Kierunek ma znaczenie, bo Apple od 2020 roku przechodzi z procesorów Intel na własne układy [4], a macOS 27 Golden Gate ma być ostatnią wersją systemu z warstwą tłumaczenia Rosetta 2 [5].

Na jakim sprzęcie i na jakich kernelach prowadzono testy?

Materiał źródłowy opisuje eksperyment na dwóch typach kerneli: attention oraz Mamba SSM [1]. Test Mamby wykonano na modelu mamba-370m w formacie f16, na komputerze M1 Max z 64 GB pamięci. Punktem odniesienia była społecznościowa implementacja mlx-lm [1]. To zawęża wnioski: nie ma tu pomiarów dla całego ekosystemu modeli ani dla innych układów Apple.

Ile wynosi przyspieszenie prefillingu Mamby?

Oficjalny opis podaje około 20-krotny wzrost przepustowości prefillingu, ale pełna tabela pokazuje, że wynik zależy od długości promptu [1]. Zgłoszenie do repozytorium mlx-lm raportuje 18,72-krotny wzrost dla wariantu mamba-370m-hf-f16 przy promptach 1024 tokenów: z 293,741 do 5497,575 tokena na sekundę [6].

Długość promptuK-Search/MLX (tok/s)mlx-lm (tok/s)Mnożnik
5125751329około 17,5× [1]
10245497,575293,74118,72× [6]
40966743339około 19,9× [1]

Wiersze dla 512 i 4096 tokenów pochodzą z opisu K-Search, a wiersz dla 1024 tokenów ze zgłoszenia do mlx-lm. Mnożniki to iloraz podanych wartości. Podobne zestawienia pojawiają się też w naszych benchmarkach AI.

Skąd bierze się ten zysk?

Przyspieszenie nie wynika z szybszego dekodowania, lecz z równoległego przetwarzania promptu. Rekurencja SSM w mlx-lm była liczona sekwencyjnie, a zoptymalizowany kernel wykorzystuje łączność operacji do równoległego skanu prefiksu [1]. W tym samym benchmarku dekodowanie osiągnęło 152 tokeny na sekundę wobec 116 tokenów na sekundę w mlx-lm [1]. Zgłoszenie do mlx-lm podaje 1,03-krotny wzrost dla generowania przy 18,72-krotnym dla przetwarzania promptu [6].

K-Search czy ręczna optymalizacja kerneli?

KryteriumK-SearchRęczna optymalizacja
Generowanie kandydatówautomatyczne, iteracyjne [1]deweloper pisze kolejne wersje
Pomiar wydajnościkompilacja i benchmark na sprzęcie [1]zależy od własnego zestawu testów
Udokumentowany zakresdwa typy kerneli [1]ograniczony wiedzą zespołu
Wiedza o CUDAprzenoszona na idiomy Apple GPU [1][3]potrzebna bezpośrednio

Polecamy zacząć od jednego, dobrze zrozumianego kernela i porównać wynik z wersją pisaną ręcznie na tym samym sprzęcie. Automatyzacja skraca liczbę iteracji, ale nie zwalnia z weryfikacji poprawności. Ręczna praca daje pełną kontrolę, którą trudno zastąpić, gdy model wymaga nietypowych operacji.

Czy K-Search zastępuje pracę deweloperów?

Nie w świetle dostępnych materiałów. Źródło opisuje eksperyment na dwóch kernelach i wprost zaznacza, że generalizacja na inne operacje pozostaje nieznana [1]. Framework automatyzuje generowanie, kompilowanie i benchmarkowanie kandydatów, ale nie usuwa potrzeby zrozumienia modelu ani sprawdzenia kodu. Podobne granice automatyzacji widać w narzędziach takich jak Codex w data science.

Co wiadomo o doniesieniach o polskim startupie Neurify?

Materiały nie potwierdzają, by polski startup Neurify prowadził testy K-Search. Prace nad projektem przypisuje się zespołowi z UC Berkeley Sky Lab oraz IBM Research, a wśród autorów wymienia się Shiyi Cao, Ziminga Mao, Josepha E. Gonzaleza i Iona Stoicę [1]. Pod nazwą Neurify funkcjonują inne podmioty: organizacja edukacyjno-neuronaukowa z Londynu [7], firma AI z Bengaluru [8] oraz projekt akademicki z 2018 roku [9]. Żaden z nich nie jest łączony z K-Search. Najważniejszy opis wyników opublikowano 29 lipca 2026 roku, a zgłoszenie dotyczące Mamby w mlx-lm pochodzi z 15 kwietnia 2026 roku [1][6].

Punktem wyjścia jest publiczne repozytorium projektu [2]. Warto sprawdzić, czy backend MLX obsługuje operacje z modelu, który chcemy przyspieszyć, i przygotować własny pomiar na docelowej maszynie. Benchmark z opisu dotyczy jednego modelu i jednego układu [1], więc wyników nie należy przenosić bezpośrednio na inne konfiguracje. Dopiero po powtórzeniu pomiaru można ocenić, czy framework daje przewagę w danym projekcie.

Najczęstsze pytania

Czy K-Search wymaga karty NVIDIA?

Nie. Apple Silicon jest obsługiwany przez MLX i Metal, a CUDA nie jest uruchamiane bezpośrednio [1][3]. Test Mamby wykonano na M1 Max [1]. Framework może więc działać lokalnie na Macu, ale zakres wspieranych operacji jest wąski i wymaga sprawdzenia na własnym modelu.

Ile razy szybciej działa przetwarzanie promptu w Mambie?

Od około 17,5 do około 20 razy, zależnie od długości promptu. Dla 512 tokenów zmierzono 5751 wobec 329 tokenów na sekundę, a dla 4096 tokenów 6743 wobec 339 [1]. Osobne zgłoszenie podaje 18,72 razy przy 1024 tokenach [6]. Wynik dotyczy konkretnego modelu i sprzętu, nie całej rodziny modeli.

Czy K-Search zastąpi ręczną optymalizację?

Nie na podstawie dostępnych danych. Opis obejmuje dwa kernele i nie rozstrzyga, jak framework zachowa się przy innych operacjach [1]. Automatyzacja skraca iteracje, ale decyzje o architekturze i weryfikacja wyników pozostają po stronie zespołu. Traktujemy K-Search jako narzędzie wspierające, nie zamiennik.

Na jakim sprzęcie prowadzono testy?

M1 Max z 64 GB pamięci, model mamba-370m w formacie f16 [1]. To jeden układ z jednej generacji, więc nie można z tego wyciągać wniosków o wydajności na innych Macach. Dla własnych potrzeb trzeba powtórzyć pomiar na docelowej maszynie.

Czym K-Search różni się od algorytmu KNN?

K-Search nie jest metodą wyszukiwania najbliższych sąsiadów. To framework do generowania kerneli GPU, w którym model językowy proponuje zmiany, a system kompiluje i mierzy kandydatów [1][2]. Zbieżność nazw jest przypadkowa i bywa źródłem nieporozumień.

Źródła

  1. From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon (BAIR, 2026)
  2. GitHub - caoshiyi/K-Search: Automated High-Performance GPU Kernel Generation (GitHub)
  3. How K-Search Brings Decades of Kernel Expertise to Apple Silicon (GeekFence)
  4. Komputery Mac z układem scalonym Apple (Apple Support)
  5. macOS 27 tylko dla ARM oznacza spore komplikacje dla użytkowników architektury x86 (Computerworld)
  6. Optimize Mamba/SSM decode and prefill kernels on Apple Silicon, issue 1152 (ml-explore/mlx-lm, GitHub)
  7. Neurify (LinkedIn)
  8. Neurify Technologies - Custom Enterprise AI, end to end (Neurify Technologies)
  9. GitHub - tcwangshiqi-columbia/Neurify: released code of Neurify in NIPS 2018 (GitHub)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji