News & analizy
Talkie: model 13B z wiedzą do 1930 roku i jego próby z kodem
Zaktualizowano: Autor: Andrzej Niemiec9 min czytania
Talkie, model 13B trenowany na tekstach sprzed 1931 roku, w HumanEval generował tylko nieliczne poprawne skrypty w Pythonie. Co to mówi o generalizacji LLM?
Spis treści
- Czy Talkie potrafi pisać kod w Pythonie?
- Czym jest Talkie i na jakich danych powstał?
- Z jakich materiałów zbudowano korpus historyczny?
- Czy model naprawdę nie zna świata po 1930 roku?
- Co mówią liczby o jakości danych treningowych?
- Jak Talkie wypada na tle modelu trenowanego na współczesnym webie?
- Czego ten eksperyment nie dowodzi?
- Czy Talkie można pobrać i uruchomić?
- Najczęstsze pytania
- Źródła
Czy Talkie potrafi pisać kod w Pythonie?
Tak, ale w wąskim zakresie. W benchmarku HumanEval model dostawał w promptach przykłady kodu i generował nieliczne poprawne rozwiązania, głównie jednowierszowe programy albo drobne modyfikacje podanych funkcji. Wyraźnie przegrywał z bliźniaczym modelem trenowanym na współczesnym webie. Jednym z opisanych przypadków było odtworzenie funkcji dekodującej szyfr rotacyjny przez zamianę znaku „+” na „−” [1].
Praktyczne asystenty, które piszą kod na co dzień, znajdziesz w hubie AI do programowania. Talkie jest w tym zestawieniu ciekawostką badawczą, nie narzędziem pracy.
Czym jest Talkie i na jakich danych powstał?
Talkie to projekt badawczy, a nie komercyjny produkt czy spółka [1]. Za modelem stoją Nick Levine, David Duvenaud i Alec Radford, a rodzinę modeli pokazano w kwietniu 2026 roku [1]. Polskie omówienie projektu podkreśla ten sam skład zespołu [4]. Popularne opisy ujmują rzecz krótko: to chatbot, który zna jedynie świat sprzed 1931 roku [5], a jego odpowiedzi odzwierciedlają język i sposób myślenia epoki [6].
Podstawowy wariant to talkie-1930-13b-base z 13 mld parametrów [2]. Pretraining objął 260 mld tokenów angielskiego tekstu opublikowanego przed 31 grudnia 1930 roku [1][2]. Nazwa „1930” opisuje więc dane, a nie datę powstania modelu [2]. Wariant instrukcyjny nosi nazwę talkie-1930-13b-it [3].
Z jakich materiałów zbudowano korpus historyczny?
Z książek, gazet, czasopism, czasopism naukowych, patentów i orzecznictwa [1]. Zbiór jest głównie anglojęzyczny i nie stanowi reprezentatywnego obrazu całej wiedzy świata sprzed 1931 roku [1]. Obok modelu historycznego zespół wytrenował kontrolny talkie-web-13b-base na współczesnym zbiorze FineWeb, żeby mieć punkt odniesienia [1].
Sens przedsięwzięcia był metodologiczny: rozdzielić generalizację od zapamiętywania i ograniczyć zanieczyszczenie danych ewaluacyjnych [1]. Model, który nie widział współczesnych testów, trudniej posądzić o to, że je zapamiętał [1].
Czy model naprawdę nie zna świata po 1930 roku?
Nie do końca. Filtr anachronizmów nie był doskonały: model znał elementy prezydentury Roosevelta, New Deal oraz pewne informacje o II wojnie światowej i powojennym porządku [1]. Zespół wykrył też wycieki danych do zbioru treningowego [1].
Dodatkowo wariant instrukcyjny trenowano z udziałem współczesnych modeli: online DPO wykorzystywało Claude Sonnet 4.6 jako sędziego, a część syntetycznych rozmów powstała z udziałem Claude Opus 4.6 [1][3]. To osłabia tezę, że całe zachowanie Talkie jest wyłącznie efektem tekstów sprzed 1931 roku [1].
Co mówią liczby o jakości danych treningowych?
Zespół analizował prawie 5000 opisów z rubryki „On This Day” dziennika The New York Times, mierząc zaskoczenie modelu w bitach na bajt [1]. W kontrolowanych eksperymentach OCR obniżał efektywność uczenia do 30 proc., a czyszczenie wyrażeniami regularnymi podnosiło ją do 70 proc. względem tekstów przepisanych przez człowieka [1].
Te liczby dotyczą jakości danych, nie „inteligencji” modelu. Nie należy składać ich w jeden dowód, że Talkie rozumie programowanie [1]. Krótkie omówienie premiery projektu opublikowało też letsdatascience [7].
Jak Talkie wypada na tle modelu trenowanego na współczesnym webie?
Zespół porównał model historyczny z bliźniaczym modelem trenowanym na FineWeb. W standardowych ewaluacjach Talkie wypada słabiej, choć w podstawowych zadaniach rozumienia języka i numeracy różnice były niewielkie [1]. Po odfiltrowaniu pytań anachronicznych luka częściowo się zmniejsza [1].
| Kryterium | talkie-1930-13b-base | talkie-web-13b-base (kontrolny) |
|---|---|---|
| Dane treningowe | angielskie teksty sprzed 31 grudnia 1930 r. [1][2] | współczesny web, zbiór FineWeb [1] |
| Rozmiar | 13 mld parametrów [2] | model bliźniaczy, ta sama skala [1] |
| HumanEval | nieliczne poprawne rozwiązania, głównie jednowierszowe [1] | wyraźnie lepsze wyniki [1] |
| Rozumienie języka i numeracy | wyniki zbliżone do kontrolnego [1] | wyniki zbliżone do historycznego [1] |
| Wiedza o świecie po 1930 r. | śladowa, z wyciekami [1] | pełna [1] |
Czego ten eksperyment nie dowodzi?
Nie dowodzi, że model samodzielnie nauczył się programowania ani że współczesne dane są zbędne [1]. Poprawne odpowiedzi w HumanEval były nieliczne i proste, a model korzystał z przykładów podanych w prompcie [1]. Wyniki są wstępne i dotyczą jednego, anglojęzycznego korpusu [1].
Eksperyment pokazuje raczej, jak trudno oddzielić generalizację od zaawansowanego dopasowania wzorców [1]. Dla osób, które budują pipeline'y danych, ciekawszy jest wątek jakości korpusu i kosztu jego czyszczenia [1]. Praktyczne wnioski z pracy z bibliotekami danych zbiera artykuł o bibliotekach Python do pipeline'ów danych.
Czy Talkie można pobrać i uruchomić?
Tak. Wagi obu wariantów i biblioteka inference są publiczne w repozytorium na GitHubie oraz na Hugging Face [1][2][3]. Dostępne są opisy techniczne i wątki dyskusyjne społeczności [10]. To nadal eksperyment badawczy, nie produkt z gwarancją dostępności [1].
Jeśli interesuje Cię, jak dziś wygląda praktyczne wdrażanie agentów w repozytoriach, zobacz tekst o AGENTS.md w 60 000 repozytoriów. Talkie jest ciekawym kontrapunktem: pokazuje granice tego, co da się wywnioskować z samego tekstu [1].
Najczęstsze pytania
Czy Talkie naprawdę potrafi programować w Pythonie?
Częściowo i w bardzo ograniczonym zakresie. W HumanEval generował nieliczne poprawne rozwiązania, głównie jednowierszowe albo będące drobną modyfikacją przykładu z promptu [1]. Wyraźnie przegrywał z bliźniaczym modelem trenowanym na współczesnym webie [1]. To za mało, by mówić o samodzielnym opanowaniu języka programowania [1].
Kiedy powstał Talkie?
Rodzinę modeli pokazano w kwietniu 2026 roku, a repozytorium i wagi pochodzą z tego samego okresu [1]. Nazwa „1930” odnosi się do granicy danych treningowych, nie do daty powstania projektu [2]. Nie ma wiarygodnego potwierdzenia wcześniejszej publikacji tego modelu [1].
Ile parametrów ma Talkie?
Model talkie-1930-13b-base ma 13 mld parametrów, a pretraining objął 260 mld tokenów historycznego tekstu [1][2]. Wariant instrukcyjny talkie-1930-13b-it ma tę samą skalę [3]. Kontrolny model trenowany na FineWeb również jest modelem bliźniaczym [1].
Czy Talkie zna wydarzenia po 1930 roku?
W założeniu nie, w praktyce częściowo. Filtr anachronizmów przepuścił elementy prezydentury Roosevelta, New Deal i niektóre informacje o II wojnie światowej [1]. Zespół wykrył także wycieki danych [1]. Wariant instrukcyjny trenowano dodatkowo z użyciem współczesnych modeli jako sędziów [1][3].
Źródła
- GitHub - talkie-lm/talkie
- talkie-lm/talkie-1930-13b-base · Hugging Face
- talkie-lm/talkie-1930-13b-it · Hugging Face
- Talkie 13B - LLM trenowany tylko na tekstach sprzed 1931 roku (devstockacademy, 2026)
- Naukowcy stworzyli chatbota, który zna jedynie świat sprzed 1931 (Malwarebytes, 2026)
- Bot, który ma wiedzę sprzed 100 lat (Spider's Web, 2026)
- Talkie Releases 13B Vintage Language Model Trained on 1930s Texts (letsdatascience, 2026)
- Time Travel in a Text Box: Running a 13B Language Model Trained Only on Pre-1931 Text (DEV Community)
- Talkie-1930: An LLM That Has Never Heard of Computers Just Learned to Code (didof.dev)
- talkie-lm/talkie-1930-13b-it · Discussions (Hugging Face)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji