Design and application of a Gold Standard for morphological analysis: SMOR as an example of morphological evaluation
This paper describes general requirements for evaluating and documenting NLP tools with a focus on morphological analysers and the design of a Gold Standard. It is argued that any evaluation must be measurable and documentation thereof must be made...
mehr
|
Volltext:
|
|
|
Zitierfähiger Link:
|
|
|
This paper describes general requirements for evaluating and documenting NLP tools with a focus on morphological analysers and the design of a Gold Standard. It is argued that any evaluation must be measurable and documentation thereof must be made accessible for any user of the tool. The documentation must be of a kind that it enables the user to compare different tools offering the same service, hence the descriptions must contain measurable values. A Gold Standard presents a vital part of any measurable evaluation process, therefore, the corpus-based design of a Gold Standard, its creation and problems that occur are reported upon here. Our project concentrates on SMOR, a morphological analyser for German that is to be offered as a web-service. We not only utilize this analyser for designing the Gold Standard, but also evaluate the tool itself at the same time. Note that the project is ongoing, therefore, we cannot present final results.
|
| Export in Literaturverwaltung |
|
Nachhaltige Dokumentation virtueller Forschungsumgebungen
In den letzten Jahren werden immer mehr virtuelle Forschungsumgebungen für die maschinelle Sprachverarbeitung zur Verfügung gestellt. Diese sollten zum einen nachhaltig und zum anderen für potenzielle Nutzer vergleichbar dokumentiert werden. In...
mehr
|
Volltext:
|
|
|
Zitierfähiger Link:
|
|
|
In den letzten Jahren werden immer mehr virtuelle Forschungsumgebungen für die maschinelle Sprachverarbeitung zur Verfügung gestellt. Diese sollten zum einen nachhaltig und zum anderen für potenzielle Nutzer vergleichbar dokumentiert werden. In diesem Beitrag werden daher Bedingungen für die Nachhaltigkeit insbesondere von NLP- (Natural Language Processing) Werk-zeugen beschrieben: Die Dokumentation sollte nicht nur die Software, son-dern auch ihre Evaluierung anhand einer – ebenfalls gut dokumentierten – Testsuite umfassen. Im Beitrag werden auch Möglichkeiten dargestellt, den Dokumentationsvorgang selbst anhand von DocBook XML zu automatisieren. ; hroughout the last years, an increasing number of virtual research environ-ments have been offered in the field of Natural Language Processing (NLP). These should be documented in a sustainable way that also guarantees com-parability for potential users. This paper thus describes constraints for the sustainability of NLP-environments: the documentation must describe not only the software from the developer’s view, but also its evaluation accor-ding to a testsuite, which is itself to be documented comprehensively. The paper also describes the possibility of automating the documentation proc-esses by utilizing DocBook XML.
|
| Export in Literaturverwaltung |
|
