Modele językowe uczone wyłącznie na polszczyźnie z lat 1800–1918
Wieszcz-XIX to korpus 3,1 miliarda słów polszczyzny wydanej w latach 1800–1918 i modele językowe wytrenowane od zera wyłącznie na nim. Korpus został sprawdzony pod kątem tekstów późniejszych niż 1918 rok, a modele piszą językiem i pisownią swojej epoki.
- słów w korpusie
- 3,1 mld
- dokumentów
- 294 369
- lata wydania
- 1800–1918
- parametrów największego modelu
- 349 mln
O projekcie
Duże modele językowe uczą się na tekstach z całego internetu, więc o wieku XIX piszą dzisiejszym językiem i z dzisiejszą wiedzą. Wieszcz uczył się tylko z druków wydanych do 1918 roku. Zna słownictwo, pisownię i fakty z tych tekstów.
Takie modele mogą służyć badaniom nad językiem i literaturą epoki. Na tym samym korpusie mierzymy też, jak jakość modelu zależy od jego rozmiaru, gdy danych nie można dołożyć.
Projekt jest niezależny, prowadzi go Szymon Kocur.
Cele
- Korpus dawnej polszczyzny
- Zbieramy polskie teksty wydane do 1918 roku, czyścimy je i udostępniamy z rejestrem, w którym każdy dokument ma zapisane źródło i podstawę praw.
- Model do rozmowy
- Chcemy wytrenować model, któremu każdy może zadać pytanie i dostać odpowiedź w języku epoki, bez współczesnego słownictwa.
- Więcej wiedzy z tych samych danych
- Dawnych tekstów jest skończona ilość, dlatego sprawdzamy, jak budowa modelu i sposób treningu wpływają na to, ile model z nich zapamięta.
- Otwarte wydania
- Publikujemy kod, wagi, dane i wyniki pomiarów razem z opisem znanych wad: błędów OCR, pozostałości późniejszych tekstów i uprzedzeń epoki.
Korpus
Korpus ma 3,1 miliarda słów w 294 369 dokumentach, w większości numerach czasopism. Teksty pochodzą ze skanów bibliotecznych dostępnych w Internet Archive, a 2 714 dokumentów to transkrypcje z Wolnych Lektur.
Z tekstu po OCR usunęliśmy szum i niemal identyczne duplikaty. Każde źródło zachowało swoją pisownię. Rejestr pochodzenia podaje dla każdego dokumentu źródło i podstawę praw.
Granicą korpusu jest data wydania z katalogu biblioteki, sprawdzona potem po treści. W części z Wolnych Lektur zostało 90 dokumentów, które na pewno są tekstami późniejszymi. To 0,04% korpusu.
Modele
Wytrenowaliśmy trzy modele tej samej budowy, o 47, 107 i 349 milionach parametrów. Wszystkie uczyły się na tym samym korpusie, przez tyle samo kroków i z tego samego ziarna, więc różnią się tylko rozmiarem.
Są to modele bazowe, czyli kontynuują podany tekst. Największy jest na Hugging Face, a wagi wszystkich trzech są na Zenodo.
from transformers import AutoModelForCausalLM, AutoTokenizer
name = "SKocur/wieszcz-xix-349m"
tok = AutoTokenizer.from_pretrained(name)
net = AutoModelForCausalLM.from_pretrained(name, trust_remote_code=True)Artykuł
Korpus, modele, audyt granicy czasowej i pomiar uprzedzeń opisuje preprint:
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
Więcej
- Dla mediów
Opis projektu, liczby, logo i sposób cytowania.
- Wsparcie
Na co idzie wsparcie i jak można pomóc.
- Kontakt
Adresy w sprawach ogólnych, danych i praw do tekstów.