Kompresja modeli AI pozwala zmieścić duży model językowy na zwykłym komputerze, a nawet na telefonie. Amerykański startup PrismML udostępnił Bonsai 2 27B, skompresowaną wersję otwartego modelu Qwen3.8 27B. Plik zajmuje 5,9 GB przy dziewięcio- do dziesięciokrotnie mniejszym zapotrzebowaniu na pamięć, a według twórców odtwarza 98 procent zagregowanych wyników oryginału.
Sekret to zmiana sposobu zapisu wag modelu. Zamiast liczb 16-bitowych Bonsai używa wag „ternarnych", przyjmujących tylko trzy wartości: +1, −1 lub 0. Dzięki temu plik radykalnie się zmniejsza bez utraty większości jakości. Pierwsza wersja Bonsai zachowywała 95 procent wyników, druga podnosi ten poziom do 98 procent. Zainteresowanie jest realne: pierwszy model pobrano ponad 11 milionów razy, a mniejsze warianty kolejne 2,6 miliona razy.
Za PrismML stoją badacze z Caltech. Firmę prowadzi Babak Hassibi, profesor Caltech i specjalista od kompresji, a wśród doradców jest Ion Stoica, współzałożyciel Databricks i szef Sky Computing Lab. Startup zebrał 22,25 miliona USD w rundzie zalążkowej od Khosla Ventures, Cerberus Capital i Caltech. Pojawiły się doniesienia o rozmowach z Apple, których Hassibi nie skomentował. W planach są modele liczące kilkaset miliardów parametrów w ciągu najbliższych miesięcy.
Co kompresja modeli AI znaczy dla polskich firm
Model działający lokalnie zmienia rachunek wdrożenia. Dane nie opuszczają urządzenia, więc łatwiej pogodzić przetwarzanie z RODO i tajemnicą przedsiębiorstwa. Ma to znaczenie wszędzie tam, gdzie w grę wchodzą dane osobowe, dokumenty prawne czy dane medyczne. Znika też koszt naliczany za każde zapytanie do API oraz zależność od łącza, bo model odpowiada offline.
Warto jednak zachować ostrożność. Wynik „98 procent" to średnia po wielu testach, a na konkretnym zadaniu, zwłaszcza w języku polskim, jakość może odbiegać od deklaracji. Dlatego przed wdrożeniem trzeba przetestować model na własnych danych. Uruchomienie modelu lokalnie wymaga też kompetencji: doboru sprzętu, kwantyzacji i rzetelnej oceny jakości. Dla wielu zastosowań mniejszy, tańszy model na urządzeniu wystarczy, dla innych nadal lepszy będzie duży model w chmurze. Kluczem jest dopasowanie narzędzia do procesu, a nie sam wybór najgłośniejszej nowości.
Źródło: TechCrunch (EN), 17 września 2026.
