Modele językowe uczone wyłącznie na polszczyźnie z lat 1800–1918

Wieszcz-XIX to korpus 3,1 miliarda słów polszczyzny wydanej w latach 1800–1918 i modele językowe wytrenowane od zera wyłącznie na nim. Korpus został sprawdzony pod kątem tekstów późniejszych niż 1918 rok, a modele piszą językiem i pisownią swojej epoki.

słów w korpusie
3,1 mld
dokumentów
294 369
lata wydania
1800–1918
parametrów największego modelu
349 mln

O projekcie

Duże modele językowe uczą się na tekstach z całego internetu, więc o wieku XIX piszą dzisiejszym językiem i z dzisiejszą wiedzą. Wieszcz uczył się tylko z druków wydanych do 1918 roku. Zna słownictwo, pisownię i fakty z tych tekstów.

Takie modele mogą służyć badaniom nad językiem i literaturą epoki. Na tym samym korpusie mierzymy też, jak jakość modelu zależy od jego rozmiaru, gdy danych nie można dołożyć.

Projekt jest niezależny, prowadzi go Szymon Kocur.

Cele

Korpus dawnej polszczyzny
Zbieramy polskie teksty wydane do 1918 roku, czyścimy je i udostępniamy z rejestrem, w którym każdy dokument ma zapisane źródło i podstawę praw.
Model do rozmowy
Chcemy wytrenować model, któremu każdy może zadać pytanie i dostać odpowiedź w języku epoki, bez współczesnego słownictwa.
Więcej wiedzy z tych samych danych
Dawnych tekstów jest skończona ilość, dlatego sprawdzamy, jak budowa modelu i sposób treningu wpływają na to, ile model z nich zapamięta.
Otwarte wydania
Publikujemy kod, wagi, dane i wyniki pomiarów razem z opisem znanych wad: błędów OCR, pozostałości późniejszych tekstów i uprzedzeń epoki.

Korpus

Korpus ma 3,1 miliarda słów w 294 369 dokumentach, w większości numerach czasopism. Teksty pochodzą ze skanów bibliotecznych dostępnych w Internet Archive, a 2 714 dokumentów to transkrypcje z Wolnych Lektur.

Z tekstu po OCR usunęliśmy szum i niemal identyczne duplikaty. Każde źródło zachowało swoją pisownię. Rejestr pochodzenia podaje dla każdego dokumentu źródło i podstawę praw.

Granicą korpusu jest data wydania z katalogu biblioteki, sprawdzona potem po treści. W części z Wolnych Lektur zostało 90 dokumentów, które na pewno są tekstami późniejszymi. To 0,04% korpusu.

Modele

Wytrenowaliśmy trzy modele tej samej budowy, o 47, 107 i 349 milionach parametrów. Wszystkie uczyły się na tym samym korpusie, przez tyle samo kroków i z tego samego ziarna, więc różnią się tylko rozmiarem.

Są to modele bazowe, czyli kontynuują podany tekst. Największy jest na Hugging Face, a wagi wszystkich trzech są na Zenodo.

from transformers import AutoModelForCausalLM, AutoTokenizer

name = "SKocur/wieszcz-xix-349m"
tok = AutoTokenizer.from_pretrained(name)
net = AutoModelForCausalLM.from_pretrained(name, trust_remote_code=True)

Artykuł

Korpus, modele, audyt granicy czasowej i pomiar uprzedzeń opisuje preprint:

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

Czytaj na arXiv

Więcej

  • Dla mediów

    Opis projektu, liczby, logo i sposób cytowania.

  • Wsparcie

    Na co idzie wsparcie i jak można pomóc.

  • Kontakt

    Adresy w sprawach ogólnych, danych i praw do tekstów.