Narzędzia AI
K-Search na Apple Silicon: co potrafi automatyczne generowanie kerneli
Zaktualizowano: Autor: Andrzej Niemiec7 min czytania
K-Search generuje kernele GPU z pomocą modeli językowych i działa na Apple Silicon przez MLX. Wyjaśniamy, jakie wyniki osiągnął na Mambie i gdzie są jego granice.
Spis treści
- Czym właściwie jest K-Search?
- Jak K-Search obsługuje Apple Silicon?
- Na jakim sprzęcie i na jakich kernelach prowadzono testy?
- Ile wynosi przyspieszenie prefillingu Mamby?
- Skąd bierze się ten zysk?
- K-Search czy ręczna optymalizacja kerneli?
- Czy K-Search zastępuje pracę deweloperów?
- Co wiadomo o doniesieniach o polskim startupie Neurify?
- Jak zacząć z K-Search?
- Najczęstsze pytania
- Źródła
Czym właściwie jest K-Search?
K-Search nie jest algorytmem wyszukiwania najbliższych sąsiadów, mimo że nazwa brzmi podobnie. To framework do automatycznego generowania i optymalizacji kerneli GPU. Model językowy planuje kolejne zmiany i generuje kod, a system kompiluje kandydatów oraz ocenia ich wydajność na rzeczywistym sprzęcie [1]. Projekt rozwijany jest publicznie w repozytorium GitHub [2]. Opis metody ukazał się w pracy poświęconej generowaniu kerneli z użyciem współewoluującego modelu świata [1].
Jak K-Search obsługuje Apple Silicon?
Apple Silicon nie wykonuje CUDA bezpośrednio, więc K-Search nie przenosi kodu jeden do jednego. Framework tłumaczy wiedzę o optymalizacji CUDA na strategie natywne dla architektury Apple i uruchamia je przez MLX oraz Metal [1][3]. Wygenerowane kernele są kompilowane i benchmarkowane na prawdziwym sprzęcie, a nie tylko symulowane [1]. Kierunek ma znaczenie, bo Apple od 2020 roku przechodzi z procesorów Intel na własne układy [4], a macOS 27 Golden Gate ma być ostatnią wersją systemu z warstwą tłumaczenia Rosetta 2 [5].
Na jakim sprzęcie i na jakich kernelach prowadzono testy?
Materiał źródłowy opisuje eksperyment na dwóch typach kerneli: attention oraz Mamba SSM [1]. Test Mamby wykonano na modelu mamba-370m w formacie f16, na komputerze M1 Max z 64 GB pamięci. Punktem odniesienia była społecznościowa implementacja mlx-lm [1]. To zawęża wnioski: nie ma tu pomiarów dla całego ekosystemu modeli ani dla innych układów Apple.
Ile wynosi przyspieszenie prefillingu Mamby?
Oficjalny opis podaje około 20-krotny wzrost przepustowości prefillingu, ale pełna tabela pokazuje, że wynik zależy od długości promptu [1]. Zgłoszenie do repozytorium mlx-lm raportuje 18,72-krotny wzrost dla wariantu mamba-370m-hf-f16 przy promptach 1024 tokenów: z 293,741 do 5497,575 tokena na sekundę [6].
| Długość promptu | K-Search/MLX (tok/s) | mlx-lm (tok/s) | Mnożnik |
|---|---|---|---|
| 512 | 5751 | 329 | około 17,5× [1] |
| 1024 | 5497,575 | 293,741 | 18,72× [6] |
| 4096 | 6743 | 339 | około 19,9× [1] |
Wiersze dla 512 i 4096 tokenów pochodzą z opisu K-Search, a wiersz dla 1024 tokenów ze zgłoszenia do mlx-lm. Mnożniki to iloraz podanych wartości. Podobne zestawienia pojawiają się też w naszych benchmarkach AI.
Skąd bierze się ten zysk?
Przyspieszenie nie wynika z szybszego dekodowania, lecz z równoległego przetwarzania promptu. Rekurencja SSM w mlx-lm była liczona sekwencyjnie, a zoptymalizowany kernel wykorzystuje łączność operacji do równoległego skanu prefiksu [1]. W tym samym benchmarku dekodowanie osiągnęło 152 tokeny na sekundę wobec 116 tokenów na sekundę w mlx-lm [1]. Zgłoszenie do mlx-lm podaje 1,03-krotny wzrost dla generowania przy 18,72-krotnym dla przetwarzania promptu [6].
K-Search czy ręczna optymalizacja kerneli?
| Kryterium | K-Search | Ręczna optymalizacja |
|---|---|---|
| Generowanie kandydatów | automatyczne, iteracyjne [1] | deweloper pisze kolejne wersje |
| Pomiar wydajności | kompilacja i benchmark na sprzęcie [1] | zależy od własnego zestawu testów |
| Udokumentowany zakres | dwa typy kerneli [1] | ograniczony wiedzą zespołu |
| Wiedza o CUDA | przenoszona na idiomy Apple GPU [1][3] | potrzebna bezpośrednio |
Polecamy zacząć od jednego, dobrze zrozumianego kernela i porównać wynik z wersją pisaną ręcznie na tym samym sprzęcie. Automatyzacja skraca liczbę iteracji, ale nie zwalnia z weryfikacji poprawności. Ręczna praca daje pełną kontrolę, którą trudno zastąpić, gdy model wymaga nietypowych operacji.
Czy K-Search zastępuje pracę deweloperów?
Nie w świetle dostępnych materiałów. Źródło opisuje eksperyment na dwóch kernelach i wprost zaznacza, że generalizacja na inne operacje pozostaje nieznana [1]. Framework automatyzuje generowanie, kompilowanie i benchmarkowanie kandydatów, ale nie usuwa potrzeby zrozumienia modelu ani sprawdzenia kodu. Podobne granice automatyzacji widać w narzędziach takich jak Codex w data science.
Co wiadomo o doniesieniach o polskim startupie Neurify?
Materiały nie potwierdzają, by polski startup Neurify prowadził testy K-Search. Prace nad projektem przypisuje się zespołowi z UC Berkeley Sky Lab oraz IBM Research, a wśród autorów wymienia się Shiyi Cao, Ziminga Mao, Josepha E. Gonzaleza i Iona Stoicę [1]. Pod nazwą Neurify funkcjonują inne podmioty: organizacja edukacyjno-neuronaukowa z Londynu [7], firma AI z Bengaluru [8] oraz projekt akademicki z 2018 roku [9]. Żaden z nich nie jest łączony z K-Search. Najważniejszy opis wyników opublikowano 29 lipca 2026 roku, a zgłoszenie dotyczące Mamby w mlx-lm pochodzi z 15 kwietnia 2026 roku [1][6].
Jak zacząć z K-Search?
Punktem wyjścia jest publiczne repozytorium projektu [2]. Warto sprawdzić, czy backend MLX obsługuje operacje z modelu, który chcemy przyspieszyć, i przygotować własny pomiar na docelowej maszynie. Benchmark z opisu dotyczy jednego modelu i jednego układu [1], więc wyników nie należy przenosić bezpośrednio na inne konfiguracje. Dopiero po powtórzeniu pomiaru można ocenić, czy framework daje przewagę w danym projekcie.
Najczęstsze pytania
Czy K-Search wymaga karty NVIDIA?
Nie. Apple Silicon jest obsługiwany przez MLX i Metal, a CUDA nie jest uruchamiane bezpośrednio [1][3]. Test Mamby wykonano na M1 Max [1]. Framework może więc działać lokalnie na Macu, ale zakres wspieranych operacji jest wąski i wymaga sprawdzenia na własnym modelu.
Ile razy szybciej działa przetwarzanie promptu w Mambie?
Od około 17,5 do około 20 razy, zależnie od długości promptu. Dla 512 tokenów zmierzono 5751 wobec 329 tokenów na sekundę, a dla 4096 tokenów 6743 wobec 339 [1]. Osobne zgłoszenie podaje 18,72 razy przy 1024 tokenach [6]. Wynik dotyczy konkretnego modelu i sprzętu, nie całej rodziny modeli.
Czy K-Search zastąpi ręczną optymalizację?
Nie na podstawie dostępnych danych. Opis obejmuje dwa kernele i nie rozstrzyga, jak framework zachowa się przy innych operacjach [1]. Automatyzacja skraca iteracje, ale decyzje o architekturze i weryfikacja wyników pozostają po stronie zespołu. Traktujemy K-Search jako narzędzie wspierające, nie zamiennik.
Na jakim sprzęcie prowadzono testy?
M1 Max z 64 GB pamięci, model mamba-370m w formacie f16 [1]. To jeden układ z jednej generacji, więc nie można z tego wyciągać wniosków o wydajności na innych Macach. Dla własnych potrzeb trzeba powtórzyć pomiar na docelowej maszynie.
Czym K-Search różni się od algorytmu KNN?
K-Search nie jest metodą wyszukiwania najbliższych sąsiadów. To framework do generowania kerneli GPU, w którym model językowy proponuje zmiany, a system kompiluje i mierzy kandydatów [1][2]. Zbieżność nazw jest przypadkowa i bywa źródłem nieporozumień.
Źródła
- From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon (BAIR, 2026)
- GitHub - caoshiyi/K-Search: Automated High-Performance GPU Kernel Generation (GitHub)
- How K-Search Brings Decades of Kernel Expertise to Apple Silicon (GeekFence)
- Komputery Mac z układem scalonym Apple (Apple Support)
- macOS 27 tylko dla ARM oznacza spore komplikacje dla użytkowników architektury x86 (Computerworld)
- Optimize Mamba/SSM decode and prefill kernels on Apple Silicon, issue 1152 (ml-explore/mlx-lm, GitHub)
- Neurify (LinkedIn)
- Neurify Technologies - Custom Enterprise AI, end to end (Neurify Technologies)
- GitHub - tcwangshiqi-columbia/Neurify: released code of Neurify in NIPS 2018 (GitHub)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji