Przejdź do treści

News & analizy

Talkie: model 13B z wiedzą do 1930 roku i jego próby z kodem

Zaktualizowano: Autor: Andrzej Niemiec9 min czytania

Talkie, model 13B trenowany na tekstach sprzed 1931 roku, w HumanEval generował tylko nieliczne poprawne skrypty w Pythonie. Co to mówi o generalizacji LLM?

Talkie: model 13B z wiedzą do 1930 roku i jego próby z kodem
Spis treści
  1. Czy Talkie potrafi pisać kod w Pythonie?
  2. Czym jest Talkie i na jakich danych powstał?
  3. Z jakich materiałów zbudowano korpus historyczny?
  4. Czy model naprawdę nie zna świata po 1930 roku?
  5. Co mówią liczby o jakości danych treningowych?
  6. Jak Talkie wypada na tle modelu trenowanego na współczesnym webie?
  7. Czego ten eksperyment nie dowodzi?
  8. Czy Talkie można pobrać i uruchomić?
  9. Najczęstsze pytania
  10. Źródła

Czy Talkie potrafi pisać kod w Pythonie?

Tak, ale w wąskim zakresie. W benchmarku HumanEval model dostawał w promptach przykłady kodu i generował nieliczne poprawne rozwiązania, głównie jednowierszowe programy albo drobne modyfikacje podanych funkcji. Wyraźnie przegrywał z bliźniaczym modelem trenowanym na współczesnym webie. Jednym z opisanych przypadków było odtworzenie funkcji dekodującej szyfr rotacyjny przez zamianę znaku „+” na „−” [1].

Praktyczne asystenty, które piszą kod na co dzień, znajdziesz w hubie AI do programowania. Talkie jest w tym zestawieniu ciekawostką badawczą, nie narzędziem pracy.

Czym jest Talkie i na jakich danych powstał?

Talkie to projekt badawczy, a nie komercyjny produkt czy spółka [1]. Za modelem stoją Nick Levine, David Duvenaud i Alec Radford, a rodzinę modeli pokazano w kwietniu 2026 roku [1]. Polskie omówienie projektu podkreśla ten sam skład zespołu [4]. Popularne opisy ujmują rzecz krótko: to chatbot, który zna jedynie świat sprzed 1931 roku [5], a jego odpowiedzi odzwierciedlają język i sposób myślenia epoki [6].

Podstawowy wariant to talkie-1930-13b-base z 13 mld parametrów [2]. Pretraining objął 260 mld tokenów angielskiego tekstu opublikowanego przed 31 grudnia 1930 roku [1][2]. Nazwa „1930” opisuje więc dane, a nie datę powstania modelu [2]. Wariant instrukcyjny nosi nazwę talkie-1930-13b-it [3].

Z jakich materiałów zbudowano korpus historyczny?

Z książek, gazet, czasopism, czasopism naukowych, patentów i orzecznictwa [1]. Zbiór jest głównie anglojęzyczny i nie stanowi reprezentatywnego obrazu całej wiedzy świata sprzed 1931 roku [1]. Obok modelu historycznego zespół wytrenował kontrolny talkie-web-13b-base na współczesnym zbiorze FineWeb, żeby mieć punkt odniesienia [1].

Sens przedsięwzięcia był metodologiczny: rozdzielić generalizację od zapamiętywania i ograniczyć zanieczyszczenie danych ewaluacyjnych [1]. Model, który nie widział współczesnych testów, trudniej posądzić o to, że je zapamiętał [1].

Czy model naprawdę nie zna świata po 1930 roku?

Nie do końca. Filtr anachronizmów nie był doskonały: model znał elementy prezydentury Roosevelta, New Deal oraz pewne informacje o II wojnie światowej i powojennym porządku [1]. Zespół wykrył też wycieki danych do zbioru treningowego [1].

Dodatkowo wariant instrukcyjny trenowano z udziałem współczesnych modeli: online DPO wykorzystywało Claude Sonnet 4.6 jako sędziego, a część syntetycznych rozmów powstała z udziałem Claude Opus 4.6 [1][3]. To osłabia tezę, że całe zachowanie Talkie jest wyłącznie efektem tekstów sprzed 1931 roku [1].

Co mówią liczby o jakości danych treningowych?

Zespół analizował prawie 5000 opisów z rubryki „On This Day” dziennika The New York Times, mierząc zaskoczenie modelu w bitach na bajt [1]. W kontrolowanych eksperymentach OCR obniżał efektywność uczenia do 30 proc., a czyszczenie wyrażeniami regularnymi podnosiło ją do 70 proc. względem tekstów przepisanych przez człowieka [1].

Te liczby dotyczą jakości danych, nie „inteligencji” modelu. Nie należy składać ich w jeden dowód, że Talkie rozumie programowanie [1]. Krótkie omówienie premiery projektu opublikowało też letsdatascience [7].

Jak Talkie wypada na tle modelu trenowanego na współczesnym webie?

Zespół porównał model historyczny z bliźniaczym modelem trenowanym na FineWeb. W standardowych ewaluacjach Talkie wypada słabiej, choć w podstawowych zadaniach rozumienia języka i numeracy różnice były niewielkie [1]. Po odfiltrowaniu pytań anachronicznych luka częściowo się zmniejsza [1].

Kryteriumtalkie-1930-13b-basetalkie-web-13b-base (kontrolny)
Dane treningoweangielskie teksty sprzed 31 grudnia 1930 r. [1][2]współczesny web, zbiór FineWeb [1]
Rozmiar13 mld parametrów [2]model bliźniaczy, ta sama skala [1]
HumanEvalnieliczne poprawne rozwiązania, głównie jednowierszowe [1]wyraźnie lepsze wyniki [1]
Rozumienie języka i numeracywyniki zbliżone do kontrolnego [1]wyniki zbliżone do historycznego [1]
Wiedza o świecie po 1930 r.śladowa, z wyciekami [1]pełna [1]

Czego ten eksperyment nie dowodzi?

Nie dowodzi, że model samodzielnie nauczył się programowania ani że współczesne dane są zbędne [1]. Poprawne odpowiedzi w HumanEval były nieliczne i proste, a model korzystał z przykładów podanych w prompcie [1]. Wyniki są wstępne i dotyczą jednego, anglojęzycznego korpusu [1].

Eksperyment pokazuje raczej, jak trudno oddzielić generalizację od zaawansowanego dopasowania wzorców [1]. Dla osób, które budują pipeline'y danych, ciekawszy jest wątek jakości korpusu i kosztu jego czyszczenia [1]. Praktyczne wnioski z pracy z bibliotekami danych zbiera artykuł o bibliotekach Python do pipeline'ów danych.

Czy Talkie można pobrać i uruchomić?

Tak. Wagi obu wariantów i biblioteka inference są publiczne w repozytorium na GitHubie oraz na Hugging Face [1][2][3]. Dostępne są opisy techniczne i wątki dyskusyjne społeczności [10]. To nadal eksperyment badawczy, nie produkt z gwarancją dostępności [1].

Jeśli interesuje Cię, jak dziś wygląda praktyczne wdrażanie agentów w repozytoriach, zobacz tekst o AGENTS.md w 60 000 repozytoriów. Talkie jest ciekawym kontrapunktem: pokazuje granice tego, co da się wywnioskować z samego tekstu [1].

Najczęstsze pytania

Czy Talkie naprawdę potrafi programować w Pythonie?

Częściowo i w bardzo ograniczonym zakresie. W HumanEval generował nieliczne poprawne rozwiązania, głównie jednowierszowe albo będące drobną modyfikacją przykładu z promptu [1]. Wyraźnie przegrywał z bliźniaczym modelem trenowanym na współczesnym webie [1]. To za mało, by mówić o samodzielnym opanowaniu języka programowania [1].

Kiedy powstał Talkie?

Rodzinę modeli pokazano w kwietniu 2026 roku, a repozytorium i wagi pochodzą z tego samego okresu [1]. Nazwa „1930” odnosi się do granicy danych treningowych, nie do daty powstania projektu [2]. Nie ma wiarygodnego potwierdzenia wcześniejszej publikacji tego modelu [1].

Ile parametrów ma Talkie?

Model talkie-1930-13b-base ma 13 mld parametrów, a pretraining objął 260 mld tokenów historycznego tekstu [1][2]. Wariant instrukcyjny talkie-1930-13b-it ma tę samą skalę [3]. Kontrolny model trenowany na FineWeb również jest modelem bliźniaczym [1].

Czy Talkie zna wydarzenia po 1930 roku?

W założeniu nie, w praktyce częściowo. Filtr anachronizmów przepuścił elementy prezydentury Roosevelta, New Deal i niektóre informacje o II wojnie światowej [1]. Zespół wykrył także wycieki danych [1]. Wariant instrukcyjny trenowano dodatkowo z użyciem współczesnych modeli jako sędziów [1][3].

Źródła

  1. GitHub - talkie-lm/talkie
  2. talkie-lm/talkie-1930-13b-base · Hugging Face
  3. talkie-lm/talkie-1930-13b-it · Hugging Face
  4. Talkie 13B - LLM trenowany tylko na tekstach sprzed 1931 roku (devstockacademy, 2026)
  5. Naukowcy stworzyli chatbota, który zna jedynie świat sprzed 1931 (Malwarebytes, 2026)
  6. Bot, który ma wiedzę sprzed 100 lat (Spider's Web, 2026)
  7. Talkie Releases 13B Vintage Language Model Trained on 1930s Texts (letsdatascience, 2026)
  8. Time Travel in a Text Box: Running a 13B Language Model Trained Only on Pre-1931 Text (DEV Community)
  9. Talkie-1930: An LLM That Has Never Heard of Computers Just Learned to Code (didof.dev)
  10. talkie-lm/talkie-1930-13b-it · Discussions (Hugging Face)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji