Исследование кластеризации эмбеддингов для поиска парафраз в текстах инструкций по медицинскому применению лекарственных средств

В данной работе рассматривается комплексный подход для выявления парафраз в текстах медицинских инструкций, объединяющий современные методы обработки естественного языка (NLP), снижения размерности и кластерного анализа эмебеддингов названий вершин семантического графа, который строится для решения задачи поиска взаимодействий лекарственных средств при полифармакотерапии. Наилучшие результаты продемонстрировала комбинация multilingual-модели distiluse_base_multilingual с алгоритмом UMAP и агломеративной кластеризацией. Особенностью методики стало применение стратегии уменьшения размерности с последующим добавлением информации о классе, что позволило сохранить семантические взаимосвязи и улучшить качество кластеризации. Проведенный сравнительный анализ различных языковых моделей (включая Clinical Modern BERT, paraphrase-multilingual и rubert-tiny) выявил преимущества модели distiluse_base_multilingual по показателям точности и вычислительной эффективности. Визуализация результатов подтвердила способность метода к четкому выделению смысловых кластеров, а использование JSON-формата для хранения результатов обеспечило их удобную интеграцию в практические приложения. Разработанный метод позволяет автоматизировать обработку медицинских текстов для унификации терминологии в инструкциях к лекарствам.

1. Лях А.П. Классификация и основные алгоритмы эмбендинга в контексте больших языковых моделей. Электронное научное издание «Ученые заметки ТОГУ», 2024, т. 15, № 3, стр. 79-83, ISSN 2079-8490.

2. Жаксыбаев Д.О., Мизамова Г.Н. Алгоритмы обработки естественного языка для понимания семантики текста. Труды ИСП РАН, 2022, том 34, вып. 1, стр. 141-150. DOI: 10.15514/ISPRAS-2022-34(1)-10. / Zhaxybayev D.O., Mizamova G.N. Natural Language Processing Algorithms for Understanding the Semantics of Text. Trudy ISP RAN/Proc. ISP RAS, 2022, vol. 34, issue 1, pp. 141-150 (in Russian). DOI: 10.15514/ISPRAS-2022-34(1)-10.

3. Лыченко Н.М., Сороковая А.В. Сравнение эффективности методов векторного представления слов для определения тональности текстов. Институт машиноведения и автоматики Национальной академии наук Кыргызской республики, Бишкек, Кыргызстан. Математические структуры и моделирование, 2019, № 4(52), стр. 97-110. DOI 10.24147/2222-8772.2019.4.97-110.

4. Нгуен Нгок Зиеп, Ле Мань Ха. Нейросетевой метод снятия омонимии. Московский физико-технический институт (государственный университет). Информатика, вычисл. техника и управление. ТРУДЫ МФТИ, 2015, т. 7, № 4.

5. Частикова В.А., Козачёк К.В., Гуляй В.Г. Методы обработки естественного языка в решении задач обнаружения атак социальной инженерии. Кубанский государственный технологический университет, Краснодар, Россия, ISSN 2410-3225. Ежеквартальный рецензируемый, реферируемый научный журнал «Вестник АГУ», 2021, вып. 4 (291).

6. Blei D.M., Ng A.Y., Jordan M.I. Latent dirichlet allocation. Journal of machine Learning research, 2003, vol. 3, Jan., pp. 993-1022.

7. Марков А.К., Семёночкин Д.О., Кравец А.Г., Яновский Т.А. Сравнительный анализ применяемых технологий обработки естественного языка для улучшения качества классификации цифровых документов. International Journal of Open Information Technologies ISSN: 2307-8162, 2024, vol. 12, no. 3.

8. Салып Б.Ю., Смирнов А.А., Ничушкина Т.Н. Анализ модели BERT как инструмента определения меры смысловой близости предложений естественного языка. МГТУ им. Н.Э. Баумана, Москва. Научно-образовательный журнал для студентов и преподавателей «StudNet», 2022, №5.

9. Пикалёв Я.С., Ермоленко Т. В. Адаптация нейросетевой модели albert для задачи языкового моделирования. Проблемы искусственного интеллекта, 2020, № 3(18). Доступно по ссылке: https://cyberleninka.ru/article/n/adaptatsiya-neyrosetevoy-modeli-albert-dlya-zadachi-yazykovogo-modelirovaniya, дата обращения: 29.03.2026.

10. Спивак А.И., Лапшин С.В., Лебедев И.С. Классификация коротких сообщений с использованием векторизации на основе ELMo, Известия ТулГУ. Технические науки, 2019, вып. 10.

11. Швенк М.В., Бручес Е.П., Леман А.Я. Сравнение методов машинного обучения для решения задачи анализа тональности. Вестник НГУ. Серия: Информационные технологии, 2024, № 3. Доступно по ссылке: https://cyberleninka.ru/article/n/sravnenie-metodov-mashinnogo-obucheniya-dlya-resheniya-zadachi-analiza-tonalnosti, дата обращения: 29.03.2026. DOI 10.25205/1818-7900-2024-22-3-49-61.

12. Ковалев А. Д., Никифоров И. В., Дробинцев П. Д. Автоматизированный подход к семантическому поиску по программной документации на основе алгоритма Doc2Vec. Санкт-Петербургский политехнический университет Петра Великого, DOI: 10.31799/1684-8853-2021-1-17-27.

13. Муромцев Д.И., Шилин И.А., Плюхин Д.А., Баймуратов И.Р., Хайдарова Р.Р., Дементьева Ю.Ю., Ожигин Д.А., Малышева Т.А. Построение графов знаний нормативной документации на основе семантического моделирования и автоматического извлечения терминов. Научнотехнический вестник информационных технологий, механики и оптики. 2021, т. 21, № 2, стр. 256-266. DOI: 10.17586/2226-1494-2021-21-2- 256-266.

14. Регистр лекарственных средств России. Сетевое издание. ООО «РЛС-Патент». Москва, 2000-2026. Доступно по ссылке: https://www.rlsnet.ru, дата обращения: 30.03.2026.

15. Le Q.V., Mikolov T. Distributed Representations of Sentences and Documents. ICML, 2014, vol. 14, pp. 1188-1196.

16. Двойникова А. А., Карпов А. А. Аналитический обзор подходов к распознаванию тональности русскоязычных текстовых данных. Информационно-управляющие системы, 2020, № 4, стр. 20–30. DOI: 10.31799/1684-8853-2020-4-20-30.

17. Пархоменко П.А., Григорьев А.А., Астраханцев Н.А. Обзор и экспериментальное сравнение методов кластеризации текстов. Труды ИСП РАН, 2017, т. 29, вып. 2, стр. 161-200. DOI: 10.15514/ISPRAS-2017-29(2)-6. / Parhomenko P.A., Grigorev A.A., Astrakhantsev N.A. A survey and an experimental comparison of methods for text clustering: application to scientific articles. Trudy ISP RAN/Proc. ISP RAS, 2017, vol. 29, issue 2, pp. 161-200 (in Russian). DOI: 10.15514/ISPRAS-2017-29(2)-6.

18. Xie P., Xing E. P. Integrating document clustering and topic modeling. arXiv preprint, arXiv: 1309.6874, 2013.

19. Шарамет А.В. Снижение размерности данных в системах многоканальной пространственно-временной обработки информации. Вестник ВГТУ, 2023, т. 19, № 1. Доступно по ссылке: https://cyberleninka.ru/article/n/snizhenie-razmernosti-dannyh-v-sistemah-mnogokanalnoy-prostranstvenno-vremennoy-obrabotki-informatsii, дата обращения: 29.03.2026. DOI 10.36622/VSTU.2023.19.1.016.

20. Попова И.А., Попова А.А., Соболева Е.Д. Визуализация многомерных наборов данных при помощи алгоритмов снижения пространства признаков PCA и t-SNE. Научно-образовательный журнал для студентов и преподавателей «StudNet», 2020, №11.

21. Проневич О.Б., Клокова А.П. Анализ UMAP – метода снижения размерности исходных данных в машинном обучении для прогнозирования отказов в локомотивном комплексе. Надежность, 2022, № 4, стр. 53-62. DOI: 10.21683/1729-2646-2022-22-4-53-62.

22. Булыга Ф.С., Курейчик В.М. Кластеризация корпуса текстовых документов при помощи алгоритма k-means. Изв. вузов. Сев.-Кавк. регион. Техн. науки, 2022, № 3, стр. 33-40. DOI: 10.17213/1560-3644-2022-3-33-40.

23. Булыга Ф.С., Курейчик В.М. Алгоритмы агломеративной кластеризации применительно к задачам анализа лингвистической экспертной информации. Известия ЮФУ. Технические науки. Раздел II. Методы, модели и алгоритмы обработки информации. DOI 10.18522/2311-3103-2021-6-73-88.