Nova literuma vortaro en Esperantilo<\/p>\n
Fine mi decidis krei novan propran vortaron por literumilo Hunspell<\/a>. En malnovaj eldonoj ekzistis du literumiloj en esperantilo. La interna literumilo de Esperantilo, laboris kun vortaro de tn. radikaro. La dua literumilo bazi\u011dis sur hunspell kaj estis uzata nur por sugestoj de korektoj. Tiu literumilo devenis de tiama OpenOffice kaj estis kompletita de Sergio Pokrovskij kaj Dmitri Gabinski. La kromprogramo Esperantilo por OpenOffice uzis nur la literumilon de Hunspell.<\/p>\n La kreinto de programo \u0109apelilo Pejno Simono<\/a> kontaktis min kaj plendis pri la literumado de esperantilo. La programo \u0109apelilo ne plu funkcias sur nuna vindozo. Fakte, la esperanta literumilo ne konis kelkajn oftajn vortojn, kiuj estis jam en \u0109apelilo. Li sendis al mi la liston de vortoj de \u0109apelilo. Fakte, en tiu listo estas multaj vortoj, kiujn ne konas Esperantilo. Mi ne uzis la liston de \u0109apelilo direkte, \u0109ar \u011di enhavis multajn vortojn, kiujn mi ne trovis en esperantaj tekstoj. Mi decidis plivastigi la radikaron de Esperantilo kaj krei de tiu listo la vortaron por Hunspell. Tamen el la diskuto kun Pejno Simono ekestis kelkaj ideoj por kreo de nova literumilo.<\/p>\n Tiuj ideoj estas:<\/p>\n Ekzemplo de dua punkto.<\/p>\n Se ekzistas transitiva verbo „legi“ ekzistas anka\u016d adjektivo „legebla“. Se ekzistas adjektivo „pura“ ekzistas anka\u016d „pure, malpura, pureco, purulo, plipurigi“. Oni povas konstrui multajn tiujn regulojn, kiuj oni povas enprogrami en priskribo de Hunspell literumilo.<\/p>\n Ekzemple on Hunspell oni povas difini adjektivan sufikson „A“ kaj poste eblajn devenaj vortojn.<\/p>\n Mi opinias, ke ne \u011denas, ke iu derivo ne estus senca esperanta vorto. La literumilo devas unue trovi mistajpitajn vortojn, sed ne decidi \u0109u iu vorto estas valida esperanta vorto. Por tiu tasko ekzistas ja vortaroj kiel REVO.<\/p>\n La kreito de programo \u0109apelilo konstruis tiujn vortojn a\u016dtomate. La a\u016dtomata konstruo de vortoj havas la malavanta\u0135on, ke oni post ne scias, kiu vorto estas la origina kaj kiu la a\u016dtomate kreita. Tiam ne ekzistis tamen la kababla literumilo kiel Hunspell, kiu subtenas vortfaradon.<\/p>\n Mi kolektis anka\u016d grandan tekstaron por testi kaj kompari literumilojn kaj trovi novajn vortojn.<\/p>\n Mi decidis krei du vortarojn por la literumilo. La unua rekonas nur vortojn, kiuj estas en radikaro kaj direktaj derivoj. La dua (la morfologia vortaro) povas anka\u016d rekoni kunmeta\u0135oj a\u016d kombinoj de bazaj vortoj. Mi decidis uzi du vortarojn por oferi al uzantoj du strategiojn, kiuj ankora\u016d ekzistis en malnova Esperantilo.<\/p>\n La unua vortaro ne rekonas vortojn, kiuj estas tre maloftaj krea\u0135oj. La dua vortaro povas ne rekoni literuman eraron, \u0109ar la eraro povas esti valida kombino. <\/p>\n Ekzemple:<\/p>\n La vorto „kontrau“ estas evidente la misskribita vorto „kontra\u016d“. Sed tiu eraro povas esti komprenata kiel allasebla vortfarado (kon+tra+u) (koni + trai – uzado de vorteto kiel radiko). \u0108ar en Esperanto ekzistas multaj du- a\u016d triliteraj radikoj, tiuj misinterpretoj povas ofte okazi.<\/p>\n Mi anka\u016d publikas la listojn por komparo de literumiloj. La bazo pro testado de literumilo estas la listo de vortoj, kiuj estas orditaj la\u016d la ofteco de vortoj.<\/p>\n Plej oftaj vortoj en esperanta vikipedio<\/p>\n La esperanta vikipedio enhavas 21.265.680 vortojn. Mi ne sukcesis forigi specialajn formatajn vortojn de vikipedia tekstaro. Do la listo estas malpurigita per specialaj formataj vortoj de vikio.<\/p>\n La listo enhavas: vorton la ofteco de vorto en vikipedio kaj oftecan grupon (La vortoj de grupo n estas duoble oftaj kiel la vortoj de grupo n+1). La plej ofta estas la vorto „la“, kiu aperas 1335212 foje en la esperanta vikipedio. Do oni povas de tiu listo malfacile kaj rapide testi la literumilon.<\/p>\n \u0108iuj ekzemploj por unikso (a\u016d cygwin medio).<\/p>\n Ekzemple Trovi nekonatajn vortojn <\/p>\n La bona flanke de tiu metodo estas, ke la listo estas ordigita la\u016d la oftece de vortoj.<\/p>\n Oni povas per tio simile kompari literumiloj. Ekzemple kiel trovi vortojn kiuj estas konata en unu literumilo sed ne en la dua<\/p>\n Oni povas anka\u016d kalkuli la nombroj de vortoj per komando „wc -l“. En la suba tabelo oni vidas, kiel ofte iu literumilo raportas erarojn kun specifa tekstaro. Ekzemple la nova literumilo de esperantilo raportas sur tekstaro de libera folio (553106 vortoj) 34715 foje la eraran vorton. Tio estas relative 6.28% de vortoj. Tio signifas, ke avera\u011de la literumilo reportas de 100 vortoj pli-malpli 6 erarojn.<\/p>\n
\nPri la literumado mi jam skribis du foje en mi blogo (Literumado – ISpell, ASpell, MySpell, Hunspell<\/a> kaj Projekto Lingvohelpilo kaj Literumado<\/a>)<\/p>\n\n
\r\nSFX A Y 25\r\nSFX A 0 0\/XmNEV .\r\nSFX A 0 eg\/XmNEV .\r\nSFX A 0 et\/XmNEV .\r\nSFX A 0 ul\/XmNE .\r\nSFX A 0 ulin\/XmNE .\r\nSFX A 0 egul\/XmNE .\r\nSFX A 0 egulin\/XmNE .\r\nSFX A 0 etul\/XmNE .\r\nSFX A 0 etulin\/XmNE .\r\nSFX A 0 ec\/XmN .\r\nSFX A 0 egec\/XmN .\r\nSFX A 0 a\u0135\/XmN .\r\nSFX A 0 ega\u0135\/XmN .\r\nSFX A 0 a\u0135eg\/XmN .\r\nSFX A 0 eta\u0135\/XmN .\r\nSFX A 0 a\u0135et\/XmN .\r\nSFX A 0 ig\/XpV .\r\nSFX A 0 ig\/XpnN .\r\nSFX A 0 igat\/XpnNE .\r\nSFX A 0 igot\/XpnNE .\r\nSFX A 0 igit\/XpnNE .\r\nSFX A 0 igant\/XpnNE .\r\nSFX A 0 igont\/XpnNE .\r\nSFX A 0 igint\/XpnNE .\r\nSFX A 0 igil\/XpN .\r\n<\/pre>\n
\r\nla 1335212 0\r\nde 1182863 0\r\nen 561205 1\r\nkaj 495182 1\r\nestas 327751 2\r\nLa 239306 2\r\nal 170132 3\r\nestis 148179 3\r\nel 117040 3\r\nNGC 112629 3\r\npor 94307 4\r\nEn 87643 4\r\nkun 84794 4\r\nkiu 78509 4\r\nli 78500 4\r\nkomunumo 72231 4\r\n<\/pre>\n
\nTrovi konatajn vortojn<\/p>\n
\nhunspell -d eo_ilo -G <wiki_frek.txt
\n<\/code><\/p>\n
\nhunspell -d eo_ilo -L <wiki_frek.txt
\n<\/code><\/p>\n
\nhunspell -d eo_ilo -L <wiki_frek.txt | hunspell -d eo_morf -L -G
\n<\/code><\/p>\n
\nPor trovi la nombron de vortoj por kiu la literumilo raportas la eraron en tuta esperanto vikipedio
\noni uzu<\/p>\n
\nhunspell -d eo_ilo -L <wiki_frek.txt | awk 'BEGIN{ i=0 } {i=i+\\$2} END{print \"nombro \" i}'
\n<\/code><\/p>\nKomparo de literumiloj<\/h3>\n