Učni korpus je strukturirana zbirka besedil, ki vsebuje ročno pregledane podatke jezikoslovne narave, ki so dodani izvornemu besedilu. Ti podatki se uporabljajo pri učenju računalniških programov za strojno analizo besedil, ki iz njih zgradijo statistični model, ali pa služijo za preverjanje pravilnosti analize pri programih, ki za analizo uporabljajo pravila. Pri statističnih programih tak na učnem korpusu naučeni model uporabljamo za analiziranje novih, neznanih besedil.

KAKO SMO NAREDILI UČNI KORPUS?

Učni korpus ssj500k temelji na obeh učnih korpusih, izdelanih v okviru projekta JOS. Sestavljata ga celotni korpus jos100k ter dodatnih 400.000 besed iz enomilijonskega korpusa jos1M. Pri izdelavi učnega korpusa moramo besedilo, ki ga sestavlja niz znakov (črk, številk, predsledkov, simbolov itd.), najprej eksplicitno razdeliti na smiselne enote, kot so odstavki, stavki, besede in ločila. Temu postopku pravimo segmentacija (prepoznavanje stavkov) in tokenizacija (prepoznavanje pojavnic, tj. besed in ločil). Poleg tega vsaki besedi dodamo še dva podatka: osnovno obliko ali lemo (jagodam, jagodami -> jagoda) in oblikoskladenjsko oznako. Ta je oblikovana kot zapis, v katerem je vsebovana informacija o besedni vrsti in lastnosti besede v tej besedni vrsti, npr. Somei = samostalnik, občno ime, moški spol, ednina, imenovalnik. V učnem korpusu ssj550k uporabljamo tabelo oznak JOS, ki vsebuje natanko 1.902 možni oznaki s kombinacijami kategorij in lastnosti, po specifikacijah, izdelanih v okviru istega projekta.

Poleg omenjenih učni korpus lahko vsebuje tudi druge vrste podatkov, npr. o skladenjski sestavi stavkov (kaj je v stavku osebek, povedek, predmet, prislovno določilo itd.), imenskih entitetah (npr. Peter, Državni zbor, NASA, Mestna občina Ljubljana), povezavi med zaimenskimi elementi in njihovimi referenti itd. Učni korpus ssj500k vsebuje ročno pregledane podatke na nivojih segmentacije, tokenizacije, lematizacije, oblikoskladenjskega označevanja, skladenjskega razčlenjevanja (11.411 stavkov) in razpoznavanja imenskih entitet (osebno, zemljepisno, stvarno ime).

Vsi jezikoslovni metapodatki (oznake, leme, pojavnice) so bili ob prehodu iz jos100k oz. jos1M v korpusu ssj500k še enkrat ročno pregledani, povečana je bila množica skladenjsko označenih in ročno pregledanih povedi. V delu, ki ga zajema korpus jos100k, so bile dodane informacije o lastnih imenih za potrebe strojnih razpoznavalnikov imenskih entitet. Za razliko od korpusov jos100k in jos1M je bila v korpusu ssj500k v celoti ročno pregledana in popravljena tudi stavčna segmentacija in tokenizacija, kar omogoča tudi preverjanje uspešnosti algoritmov pri teh dveh postopkih. Številčni podatki o elementih v korpusu ssj500k so navedeni spodaj v tabeli.