Keywords
Abstract
Узбекский язык, обладающий агглютинативным характером, образует слова путем сочетания аффиксов с корнями, используя флективные окончания для различных морфологических признаков. Это свойство создает большое количество комбинаций окончаний слов и значительно увеличивает словарный запас и объем данных проблемы разреженности статистических моделей. В этой статье рассматривается модель морфологического анализа, которая включает в себя выделение корней, лемматизацию и извлечение морфологической информации с учетом морфофонетических исключений. Суть модели заключается в разработке полного набора окончаний слов с соответствующей морфологической информацией и дополнительных наборов данных для морфологического анализа. Предложенная модель была протестирована с использованием специально разработанного набора тестов, включающего 5,3 тыс. слов. Точность на уровне слов превысила 91%, что было определено с помощью ручной проверки основы, леммы и исправлений морфологических признаков, проведенных экспертами-лингвистами. Созданный на основе предложенной методологии инструмент доступен в виде пакета Питон с открытым исходным кодом, а также веб-приложения, включающего общедоступный API.
References
1. М. Аблимит, Т. Кавахара, А. Паттар и А. Хамдулла, “Уйгурский язык, основанный на стволовых аффиксах" Morphological Analyzer, ”Международный журнал коммуникации будущего поколения и Сетевое взаимодействие, том 9, № 2, 2016, doi: 10.14257/ijfgcn.2016.9.2.07.
2. У. Тукеев, А. Карибаева и З. Х. Жуманов, “Метод морфологической сегментации Нейронный машинный перевод на тюркский язык”, Cogent Eng, том 7, № 1, стр. 1856500, 2020, doi: 10.1080/23311916.2020.1856500.
3.Шермухамедова Н. А. Графика и транскрипция заимствованных имен //Barqaror Taraqqiyot va Rivojlanish Tamoyillari. – 2023. – Т. 1. – №. 1. – С. 34-36. 4.Шермухамедова Н. А. Лингвистические проблемы перевода: текст как объект переводческой деятельности //POLISH SCIENCE JOURNAL. – 2020. – С. 335.
5.Шермухамедова Н. А. Ходжи на Насреддина как источник духовно-нравственно воспитания молодёжи // Тошкент-2031- С.31.
6.Мукимова Г. А. оптимальные пути обучения иностранному языку: Янги Узбекистон тараккиотида тадкикотлар урни ва ривожланиш омиллари // Янги Узбекистон тараккиотида тадкикотларни о'рни ва ривойланиш омиллари. – 2024. – Т. 4. – №. 1. – С. 159-163.
7.Шермухамедова Н.А. словообразование аспект компьютерного слена и интернет-дискурса. 8.Туйлиева Л. А. Методы. Методы исследования глаголов состояния: //Образование и инновационные исследования международный научно-методический журнал. – 2023. – №. 3. – С. 65-73.
9.Истамовна Д. С. Категории оппозиции и контраста как объекты лингвистического анализа // EPRA International Journal of Multidisciplinary Research (IJMR). – 2023. – Т. 9. – №. 11. – С. 407-409.
10.Авезова Д. литературные псевдонимы на примере русских и узбекских писателей //Наука и инновации. – 2024. – Т. 3. – №. C3. – С. 90-95.