Извлечение информации из новостных веб-страниц, содержащих множество записей

В данной работе мы сосредоточились на задаче извлечения информации с веб-страниц, содержащих множество записей, задаче, приобретающей всё большую актуальность в эпоху больших объёмов веб-данных. В последнее время развитие методов машинного обучения повысило качество извлечения информации с веб-страниц. Тем не менее, большинство исследований и наборов данных направлены на изучение страниц, содержащих одну запись. Это привело к тому, что страницы со списками (они же страницы, содержащие множество записей) изучены недостаточно, несмотря на их широкое распространение и практическую значимость. Чтобы восполнить этот пробел, мы создали новый большой набор данных с открытым доступом, специально разработанный для страниц со списками. Это первый набор данных для этой задачи на русском языке. Наш набор данных содержит 13 120 веб-страниц со списками новостей, что значительно превосходит существующие наборы данных как по масштабу, так и по полноте. Наш набор данных содержит атрибуты различных типов, включая необязательные и многозначные, что обеспечивает реалистичное представление страниц со списками. Эти особенности делают наш набор данных ценным ресурсом для изучения извлечения информации со страниц, содержащих множество записей. Кроме того, мы предложили собственные методы многоэтапного извлечения информации. В этой работе мы исследуем и демонстрируем несколько стратегий применения MarkupLM к решению специфических задач извлечения информации из веб-страниц с несколькими записями. Наши эксперименты подтверждают преимущества наших методов. Публикуя наш набор данных в открытом доступе (https://github.com/ispras/news-page-dataset), мы стремимся к развитию области извлечения информации из страниц с несколькими записями.

1. J. Zhu, Z. Nie, J.-R. Wen, B. Zhang, and W.-Y. Ma, “Simultaneous record detection and attribute labeling in web data extraction,” in Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ser. KDD ’06. New York, NY, USA: Association for Computing Machinery, 2006, p. 494-503. [Online]. Available at https://doi.org/10.1145/1150402.1150457, accessed 31.10.2025.

2. T. Furche, G. Gottlob, G. Grasso, G. Orsi, C. Schallhart, and C. Wang, “Amber: Automatic supervision for multi-attribute extraction,” 2012. [Online]. Available at https://arxiv.org/abs/1210.5984, accessed 31.10.2025.

3. A. San, Y. Zhuang, J. Bakus, C. Lockard, D. Ciemiewicz, S. Atluri, Y. Ji, K. Small, and H. Elfardy, “Plate: A large-scale dataset for list page web extraction,” 2023. [Online]. Available at https://arxiv.org/abs/2205.12386, accessed 31.10.2025.

4. J. Kiesel, L. Meyer, F. Kneist, B. Stein, and M. Potthast, “An empirical comparison of web page segmentation algorithms,” in European Conference on Information Retrieval. Springer, 2021, pp. 62-74.

5. Y. Zhai and B. Liu, “Web data extraction based on partial tree alignment,” in Proceedings of the 14th international conference on World Wide Web, 2005, pp. 76-85.

6. M. Alvarez, A. Pan, J. Raposo, F. Bellas, and F. Cacheda, “Finding and ´ extracting data records from web pages,” Journal of Signal Processing Systems, vol. 59, no. 1, pp. 123-137, 2010. [Online]. Available at http://link.springer.com/10.1007/s11265-008-0270-y, accessed 31.10.2025.

7. J. Li, Y. Xu, L. Cui, and F. Wei, “Markuplm: Pre-training of text and markup language for visually-rich document understanding”, arXiv preprint. Available at https://arxiv.org/abs/2110.08518, 2021, accessed 31.10.2025.

8. https://mediametrics.ru/rating/ru/online.html, accessed 31.10.2025.

9. Scrapy – a fast and powerful scraping and web crawling framework. [Online]. Available at https://scrapy.org/, accessed 31.10.2025.

10. https://github.com/ispras/web-scraper-chrome-extension, accessed 31.10.2025.

11. A. Strehl and J. Ghosh, “Cluster ensembles – a knowledge reuse framework for combining multiple partitions,” Journal of Machine Learning Research, vol. 3, pp. 583-617, 01 2002.

12. L. Hubert and P. Arabie, “Comparing partitions,” Journal of Classification, vol. 2, no. 1, p. 193-218, Dec. 1985. [Online]. Available at http://dx.doi.org/10.1007/BF01908075, accessed 31.10.2025.