NewsXLM: Мультиязычный набор данных и модель для извлечения информации из новостных веб-страниц

В данной работе рассматривается задача автоматического извлечения атрибутов из новостных веб-страниц на разных языках. Автоматическое извлечение структурированной информации из новостных веб-страниц имеет ключевое значение для мультиязычного веб-майнинга, агрегаторов данных и аналитических приложений. Актуальные нейросетевые подходы, хотя и демонстрируют высокую эффективность на англоязычных наборах данных для задачи извлечения из веб-страниц, предварительно обучены на англоязычных данных, что ограничивает их применимость к другим языкам. Мы представляем первый крупномасштабный мультиязычный набор данных для извлечения атрибутов новостных веб-страниц, включающий 29 081 аннотированные веб-страницы с 759 веб-сайтов на 56 языках. Каждая страница содержит привязанные к DOM-узлам аннотации до пяти ключевых атрибутов новости (заголовок, дата публикации, текст, авторы и теги), а также исходные HTML- и MHTML- файлы, их переведённые на английский язык версии, скриншоты и метаданные рендеринга на уровне узлов. Мы оцениваем ряд открытых методов извлечения данных, включая эвристические инструменты и современные трансформерные модели. В частности, мы дообучаем предобученную англоязычную модель MarkupLM как на оригинальных, так и на переведённых на английский страницах, а также с нуля предобучаем мультиязычную модель на основе DOM-LM на мультиязычном корпусе новостных веб-страниц с последующим дообучением на нашем наборе данных. Экспериментальная оценка показывает, что мультиязычный DOM-LM демонстрирует лучшее общее качество по большинству атрибутов и языков без использования машинного перевода, тогда как MarkupLM выигрывает от перевода, но является менее стабильным в мультиязычном сценарии. Представленный набор данных и все обученные модели опубликованы для практического использования и будущих исследований в области мультиязычного извлечения информации из Интернета и связанных приложений в новостном домене.

1. Chang, C. H., Kayed, M., Girgis, M. R., & Shaalan, K. F. (2006). A survey of web information extraction systems. IEEE transactions on knowledge and data engineering, 18(10), 1411-1428.

2. Azir, M. A. B. M., & Ahmad, K. B. (2017, November). Wrapper approaches for web data extraction: A review. In 2017 6th International Conference on Electrical Engineering and Informatics (ICEEI) (pp. 1-6). IEEE.

3. Li, J., Xu, Y., Cui, L., & Wei, F. (2022, May). MarkupLM: Pre-training of text and markup language for visually rich document understanding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 6078-6087).

4. Deng, X., Shiralkar, P., Lockard, C., Huang, B., & Sun, H. (2022). DOM-LM: Learning Generalizable Representations for HTML Documents. arXiv e-prints, arXiv-2201.

5. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., ... & Stoyanov, V. (2019). Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692.

6. CommonCrawl. Available at: https://commoncrawl.org/, accessed 25.09.2025

7. Hao, Q., Cai, R., Pang, Y., & Zhang, L. (2011, July). From one tree to a forest: a unified solution for structured web data extraction. In Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval (pp. 775-784).

8. Sarkhel, R., Huang, B., Lockard, C., & Shiralkar, P. (2023). Self-training for label-efficient information extraction from semi-structured web-pages. Proceedings of the VLDB Endowment, 16(11), 3098-3110.

9. Lockard, C., Shiralkar, P., & Dong, X. L. (2019, June). Openceres: When open information extraction meets the semi-structured web. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 3047-3056).

10. Hotti, A., Risuleo, R. S., Magureanu, S., Moradi, A., & Lagergren, J. (2021). The Klarna Product Page Dataset: Web Element Nomination with Graph Neural Networks and Large Language Models. arXiv preprint arXiv:2111.02168.

11. Kumar, A., Morabia, K., Wang, W., Chang, K., & Schwing, A. (2022, May). CoVA: context-aware visual attention for webpage information extraction. In Proceedings of the Fifth Workshop on e-Commerce and NLP (ECNLP 5) (pp. 80-90).

12. Zyte product extraction benchmark. Available at: https://github.com/scrapinghub/product-extraction-benchmark, accessed 26.09.2025.

13. Zyte article extraction benchmark. Available at: https://github.com/scrapinghub/article-extraction-benchmark, accessed 26.09.2025.

14. Bevendorff, J., Gupta, S., Kiesel, J., & Stein, B. (2023, July). An empirical comparison of web content extraction algorithms. In Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval (pp. 2594-2603).

15. Varlamov, M., Galanin, D., Bedrin, P., Duda, S., Lazarev, V., & Yatskov, A. (2022, December). A dataset for information extraction from news web pages. In 2022 Ivannikov Ispras Open Conference (ISPRAS) (pp. 100-106). IEEE.

16. Tkachenko M, Malyuk M, Holmanyuk A, et al. Label Studio: Data labeling software. Available at: https://github.com/HumanSignal/label-studio, accessed 21.10.2025.

17. Newspaper article extraction dataset. Available at: https://github.com/AndyTheFactory/article-extraction-dataset/, accessed 26.09.2025.

18. Newspaper4k. Available at: https://github.com/AndyTheFactory/newspaper4k/, accessed 10.10.2025.

19. Hamborg F., Meuschke N., Breitinger C., Gipp B. news-please: A Generic News Crawler and Extractor. Proceedings of the 15th International Symposium of Information Science, 2017, pp. 218-223. DOI: 10.5281/zenodo.4120316.

20. Barbaresi A. Trafilatura: Discover and Extract Text Data on the Web. Available at: https://github.com/adbar/trafilatura/, accessed 21.09.2025.

21. DOM-LM implementation. Available at: https://github.com/ilyalasy/DOM-LM, accessed 21.09.2025.

22. Zhang, Z., Yu, B., Liu, T., Liu, T., Wang, Y., & Guo, L. (2023, April). Learning structural co-occurrences for structured web data extraction in low-resource settings. In Proceedings of the ACM Web Conference 2023 (pp. 1683-1692).

23. Xu, H., Chen, L., Zhao, Z., Ma, D., Cao, R., Zhu, Z., & Yu, K. (2024, March). Hierarchical multimodal pre-training for visually rich webpage understanding. In Proceedings of the 17th ACM International Conference on Web Search and Data Mining (pp. 864-872).

24. Web Scraper. Available at: https://webscraper.io/, accessed 21.10.2025.

25. DrissionPage. Available at: https://github.com/g1879/DrissionPage, accessed 21.10.2025.

26. Langdetect. Available at: https://pypi.org/project/langdetect/, accessed 21.10.2025.

27. Googletrans. Available at: https://github.com/ssut/py-googletrans, accessed 21.10.2025.

28. Webtraversallibrary. Available at: https://github.com/klarna-incubator/webtraversallibrary, accessed 21.10.2025.

29. Wang, C., Cho, K., & Gu, J. (2020, April). Neural machine translation with byte-level subwords. In Proceedings of the AAAI conference on artificial intelligence (Vol. 34, No. 05, pp. 9154-9160).

30. A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzman, E. Grave, M. Ott, L. Zettlemoyer, and V. Stoyanov, “Unsupervised Cross-lingual Representation Learning at Scale”, in Annual Meeting of the Association for Computational Linguistics, 2019.

31. CommonCrawl-News Dataset. Available at: https://data.commoncrawl.org/crawl-data/CC-NEWS/index.html, accessed 21.10.2025.

32. Dateparser. Available at: https://github.com/scrapinghub/dateparser, accessed 21.10.2025.

33. FacebookAI/xlm-roberta-base. Available at: https://huggingface.co/FacebookAI/xlm-roberta-base, accessed 21.10.2025.

34. ISPRAS-CRAWLERS's Collections. NewsXLM. Available at: https://huggingface.co/collections/ispras-crawlers/newsxlm, accessed 16.02.2026.