Macedonian ASR has been long in the making - starting with the pioneering work of Kraljevski et al. (2000) who developed the first digit recognition system for Macedonian.
The Speech Group at FEEIT made its first contribution in the field with a speaker independent medium vocabulary ASR system for control of smart devices with Word Error Rates (WER) maxing out at 5.48% for clean speech in 2013. A lightweight ASR system targeting Smart Home Applications was also proposed in 2016.
Recently, we have reached state-of-the-art results on the challenging task of Large Vocabulary Continuous Speech Recognition (LVCSR). Our latest system built for the task of automatic transcription of Macedonian media achieves an impressive WER of 7.73% on a test set that has no out of vocabulary words, even if some of the utterances contain background noise. The results are even more encouraging if we analyse the errors that the system makes.
Here we present 5 sample utterances from the test set and the system recognition results. At the end we include the noisy utterances that gave the worst recognition results.
| UID | 1113 |
|---|---|
| содржина | Дополнително ќе се утврди како ќе се постапува ако на последниот ден се појави нов случај. |
| резултат | Дополнително ќе се утврди како ќе се постапува ако на последниот ден се појави нов случај. |
| WER | 0.00% |
| UID | 1129 |
|---|---|
| содржина | На овој начин здравствените власти велат дека ќе имаат поголема контрола врз ситуацијата. |
| резултат | На овој начин здравствените власти велат дека ќе имаат поголема контрола врз ситуации. |
| WER | 7.69% |
| UID | 212 |
|---|---|
| содржина | Тие сметаат дека е потребно директно да се вклучени во борбата против насилството во училиштата. |
| резултат | Тие сметаат дека е потребно директно да се вклучени во борба против насилството — училиштата. |
| WER | 13.33% |
| UID | 1321 |
|---|---|
| содржина | Нивното присуство има позитивно влијание во нашата економија. |
| резултат | Нивното присуство или во позитивно влијание во нашата економија. |
| WER | 25.00% |
| UID | 317 |
|---|---|
| содржина | Реално не не можеме да видиме ништо од ова. |
| резултат | Реално не не може да видиме што од оваа. |
| WER | 37.50% |
The initial version of the LVCSR system was developed within the scope of the SAM-TAM project: System for the Automatic Transcription of Media, in collaboration with Analitika dooel, Skopje, Macedonia and financed by the Macedonian Fund for Innovations and Technology Development.