EVALD 3.0 for Foreigners

(Evaluator of Discourse for Foreigners)

(popis v češtině najdete níže)

1 Introduction

EVALD 3.0 for Foreigners is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by non-native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary etc.).

EVALD 3.0 for Foreigners is an update of the previous versions of EVALD for Foreigners – EVALD 1.0 for Foreigners and EVALD 2.0 for Foreigners. In 2019, it was superseded by a new version, EVALD 4.0 for Foreigners.

The input document submitted to EVALD 3.0 for Foreigners is a written text created by a learner of Czech who wants to know the level of his or her writing skills in Czech in terms of surface coherence. EVALD software processes the text by internal procedures and then informs the user about the supposed level of surface coherence in the submitted text. In the assessment, six possible levels of text coherence are identified: A1, A2, B1, B2, C1, C2. These categories were established by the Council of Europe and described in the Common European Framework of Reference for Languages (CEFR, see http://www.coe.int/t/dg4/linguistic/Source/Framework_EN.pdf). The level of A (A1 and A2) is for basic users of language, B (B1 and B2) for independent users of language and C (C1 and C2) for proficient users of language.¹ EVALD 3.0 for Foreigners was trained on authentic texts written by non-native speakers (learners) of Czech (the texts are taken from the corpus MERLIN² and CzeSL-SGT³ containing writing samples created especially during the Czech Language Certificate Exams).⁴

Firstly, the texts were divided into categories A1 to C2 by teachers (assessors) on the basis of their surface coherence level. Afterwards, the machine learning experiments on the evaluated texts were carried out.

EVALD 3.0 for Foreigners was learning how a human assessor evaluates the texts in order to be able to evaluate new texts itself (to divide them into categories A1 to C2). The software classifies the new texts according to schemes that it has previously learned on the so-called training data, using the Random Forest algorithm, available within the Weka software with open access (https://sourceforge.net/projects/weka/?source=typ_redirect).

EVALD 3.0 for Foreigners was created in order to evaluate the submitted text by one of the mentioned marks/categories (i.e. A1–C2) from the perspective of surface coherence and in this respect to approach human evaluation.⁵

2 Installation and instruction manual

Please see the documentation tab for instructions how to get and run Evald 3.0 for Foreigners.

On-line demo version (for EVALD 4.0 for Foreigners!): https://lindat.mff.cuni.cz/services/evald-foreign/

3 Targeted users

EVALD 3.0 for Foreigners can be used e.g. by teachers of Czech as a foreign language for the evaluation of student essays⁶ in terms of surface text coherence or by learners of Czech who can easily verify their level of coherence in Czech thanks to this software. At the same time, it may be used by students with special educational needs, especially by the deaf students whose writing skills in Czech tend to have similar characteristics as the writing skills by the foreigners.

Software is available publicly and free of charge, without obtaining a license.⁷

4 Bibliographic reference

Jiří Mírovský, Michal Novák, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová: EVALD 3.0 for Foreigners – Evaluator of Discourse. Data/software, LINDAT/CLARIN digital library, Prague, Czech Republic, http://hdl.handle.net/11234/1-2864, Nov 2018. On-line demo version: https://lindat.mff.cuni.cz/services/evald-foreign/

¹ For example, the required level for granting permanent residence in the Czech Republic is B1 (or higher), see the web of Ministry of the interior of the Czech Republic (http://www.mvcr.cz/clanek/udeleni-statniho-obcanstvi-ceske-republiky.aspx).

² MERLIN (http://www.merlin-platform.eu/). See also Boyd, Adriane; Hana, Jirka; Nicolas, Lionel; Meurers, Detmar; Wisniewski, Katrin; Abel, Andrea; Schöne, Karin; Štindlová, Barbora; Vettori, Chiara: The MERLIN corpus: Learner language and the CEFR. In: Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2014). European Language Resources Association, Reykjavík, Iceland, ISBN 978-2-9517408-8-4, pp. 1281–1288, 2014.

³ Šebesta, Karel; Bedřichová, Zuzanna; Šormová, Kateřina et al., 2014, AKCES 5 (CzeSL-SGT), LINDAT/CLARIN digital library at the Institute of Formal and Applied Linguistics, Charles University in Prague, http://hdl.handle.net/11858/00-097C-0000-0023-95B1-E.

⁴ We gratefully thank to the authors of these corpora for their kind providing of the texts on which EVALD 3.0 for Foreigners could be trained.

⁵ At the same time, it is necessary to emphasize that the software serves only as an assistant assessment tool and its assessment cannot fully substitute the human evaluation (although the software is able to determine the level of surface coherence in the submitted text with a relatively high probability).

⁶ The software is created for assessing the coherence of authentic writing samples (essays) written by non-native speakers of Czech. In other words, it is trained to evaluate (prosaic) texts whose content and form (e.g. length) correspond to the common essays created as a comprehensive piece of writing on a given topic, e.g. during the Czech language exam. When evaluating a different type of text (e.g. too short texts, poems etc.), the software may not work reliably. The maximum length of the text entered is 8,192 characters.

⁷ Other information on the software may be found in the paper Rysová, Kateřina; Rysová, Magdaléna; Mírovský, Jiří: Automatic evaluation of surface coherence in L2 texts in Czech. In: Proceedings of the 28th Conference on Computational Linguistics and Speech Processing ROCLING XXVIII (2016). The Association for Computational Linguistics and Chinese Language Processing (ACLCLP), Taipei, Taiwan, ISBN 978-957-30792-9-3, pp. 214–228, 2016. WWW: http://aclweb.org/anthology/O/O16/O16-1021.pdf

EVALD 3.0 pro cizince

(Evaluátor diskurzu pro cizince)

1 Úvod

Počítačový nástroj EVALD 3.0 pro cizince slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných nerodilými mluvčími češtiny. Software hodnotí úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost užitých spojovacích prostředků, bohatost slovní zásoby apod.).

EVALD 3.0 pro cizince je aktualizací předchozích verzí softwaru EVALD pro cizince – EVALD 1.0 pro cizince a EVALD 2.0 pro cizince. V roce 2019 byla vytvořena novější verze softwaru – EVALD 4.0 pro cizince.

Vstupním dokumentem, který se předkládá softwaru EVALD 3.0 pro cizince, je psaný text vytvořený člověkem, který se učí česky a chce znát úroveň svého písemného vyjadřování z hlediska povrchové koherence. Software text vyhodnotí vnitřní procedurou a sdělí uživateli předpokládanou úroveň povrchové koherence předloženého textu.

Při hodnocení se rozlišuje šest možných úrovní koherence textu: A1, A2, B1, B2, C1, C2. Tyto kategorie byly stanoveny podle stupnice jazykových úrovní sestavené Radou Evropy a popsané ve Společném evropském referenčním rámci pro jazyky (SERR, viz http://www.msmt.cz/mezinarodni-vztahy/spolecny-evropsky-referencni-ramec-pro-jazyky). Úrovně A (A1, A2) odpovídají uživatelům základů jazyka, úrovně B (B1, B2) samostatným uživatelům a úrovně C (C1, C2) zkušeným uživatelům.¹

Software EVALD 3.0 pro cizince byl trénován na autentických textech nerodilých mluvčích češtiny – texty pocházejí z korpusů MERLIN² a CzeSL-SGT³. Jedná se o písemné práce vytvořené zejména v rámci certifikovaných zkoušek z češtiny pro cizince.⁴

Tyto texty nejprve roztřídili učitelé (hodnotitelé) do kategorií A1–C2 na základě toho, jaké úrovně v nich dosahovala povrchová koherence. Poté byly na takto ohodnocených textech provedeny experimenty strojového učení. Software EVALD 3.0 pro cizince se učil, jak texty hodnotí člověk, aby díky tomu byl posléze sám schopen třídit nové texty do kategorií A1–C2 (třídí je podle schémat, která se předtím naučil na tzv. trénovacích datech), s využitím algoritmu Random Forest dostupného v rámci volně přístupného softwaru Weka (https://sourceforge.net/projects/weka/?source=typ_redirect).

Software EVALD 3.0 pro cizince byl tedy vytvořen tak, aby předloženému textu přiřadil jednu z uvedených známek/kategorií (tj. A1–C2) z hlediska povrchové koherence a přiblížil se přitom lidskému hodnocení.⁵

2 Instalace a návod k použití

Informace o získání a spuštění softwaru najdete v záložce dokumentace.

Demo verze přístupná on-line (pro EVALD 4.0 pro cizince!): https://lindat.mff.cuni.cz/services/evald-foreign/?lang=cs

3 Využití

Software EVALD 3.0 pro cizince mohou využívat např. učitelé češtiny jako cizího jazyka při hodnocení písemných prací⁶ či studenti češtiny jako cizího jazyka, kteří si díky softwaru mohou snadným a rychlým způsobem ověřit svoji úroveň češtiny z hlediska koherence textu. Zároveň jej mohou využívat i studenti se speciálními vzdělávacími potřebami, zejména neslyšící, jejichž vyjadřování v češtině mívá podobná specifika jako vyjadřování cizinců. Software je dostupný veřejně a zdarma, bez nutnosti získání licence.⁷

4 Bibliografický údaj

¹ Například žadatelé o udělení státního občanství ČR skládají zkoušku z češtiny jako cizího jazyka na celkové úrovni B1 (či vyšší), viz informace na webu Ministerstva vnitra ČR (http://www.mvcr.cz/clanek/udeleni-statniho-obcanstvi-ceske-republiky.aspx).

² MERLIN (http://www.merlin-platform.eu/). Srov. Boyd, Adriane; Hana, Jirka; Nicolas, Lionel; Meurers, Detmar; Wisniewski, Katrin; Abel, Andrea; Schöne, Karin; Štindlová, Barbora; Vettori, Chiara: The MERLIN corpus: Learner language and the CEFR. In: Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2014). European Language Resources Association, Reykjavík, Iceland, ISBN 978-2-9517408-8-4, pp. 1281–1288, 2014.

⁴ Děkujeme tvůrcům obou korpusů za laskavé poskytnutí textů, na kterých mohl být software EVALD trénován.

⁵ Zároveň je nutné zdůraznit, že software slouží pouze jako pomocný hodnoticí nástroj a jeho hodnocení nemůže plně nahrazovat hodnocení člověka, jakkoli je software schopen určit úroveň povrchové koherence textu s relativně vysokou pravděpodobností.

⁶ Software je určen pro hodnocení koherence autentických písemných (slohových) prací vytvořených nerodilými mluvčími češtiny. Tj. je trénován na hodnocení prozaických textů obsahem a rozsahem (formou) odpovídajících běžné slohové práci vytvořené např. při zkoušce z češtiny jako cizího jazyka jako samostatný, ucelený písemný projev na zadané téma. Při hodnocení jiného typu textů (např. příliš krátkých textů, básní apod.) software nemusí pracovat spolehlivě. Maximální možná délka zadaného textu je 8 192 znaků.

⁷ Další informace o softwaru lze nalézt ve článku Rysová, Kateřina; Rysová, Magdaléna; Mírovský, Jiří: Automatic evaluation of surface coherence in L2 texts in Czech. In: Proceedings of the 28th Conference on Computational Linguistics and Speech Processing ROCLING XXVIII (2016). The Association for Computational Linguistics and Chinese Language Processing (ACLCLP), Taipei, Taiwan, ISBN 978-957-30792-9-3, s. 214–228, 2016. WWW: http://aclweb.org/anthology/O/O16/O16-1021.pdf

EVALD 3.0 (Evaluator of Discourse)

Automatic Evaluation of Text Coherence in Czech

Search form