JOURNAL OF MONETARY ECONOMICS AND MANAGEMENT JOURNAL OF MONETARY ECONOMICS AND MANAGEMENT JOURNAL OF MONETARY ECONOMICS AND MANAGEMENT 2782-4586 2949-1851 98292 10.26118/2782-4586.2025.36.76.061 Научные статьи SCIENTIFIC ARTICLES Научные статьи Using web scraping methods for price data analysis in economics Использование методов web scraping для анализа ценовых данных в экономике Никулин Владимир Валерьевич Nikulin Vladimir Valer'evich

кандидат технических наук;

candidate of technical sciences;

 Захаров Владислав Андреевич Zaharov Vladislav Andreevich Кулдыркаев Александр Владимирович Kuldyrkaev Aleksandr Vladimirovich Лобанова София Борисовна Lobanova Sofiya Borisovna Пулов Даниил Евгеньевич Pulov Daniil Evgen'evich Мордовский государственный университет им. Н.П. Огарёва N.P. Ogarev Mordovian State University 09 06 2025 09 06 2025 2 69 78 30 04 2025 https://jomeam.ru/en/nauka/article/98292/view

В статье рассматриваются теоретические и практические аспекты использования web scraping для автоматизированного сбора данных в экономике. Web scraping позволяет извлекать информацию с веб-ресурсов в больших объемах, что делает его особенно востребованным для анализа цен, мониторинга рыночных трендов и оценки конкурентной активности. Основное внимание уделено применению современных инструментов, таких как Python и его библиотеки (BeautifulSoup, Scrapy, Selenium), а также использованию аналитических платформ, баз данных и облачных решений для хранения и обработки данных. В статье описаны ключевые этапы процесса web scraping, включая идентификацию источников, извлечение, парсинг, сохранение данных и их анализ. Особое внимание уделено правовым и этическим аспектам, таким как соблюдение авторских прав и конфиденциальности данных, а также рекомендации по законному использованию технологий. Практические примеры показывают, как web scraping применяется для мониторинга цен на российском рынке, анализа отзывов потребителей и прогнозирования ценовых изменений. Рассмотрены перспективы развития web scraping, включая интеграцию с искусственным интеллектом и машинами обучения, что делает этот инструмент важным элементом цифровой трансформации экономики.

The article examines the theoretical and practical aspects of using web scraping for automated data collection in economics. Web scraping enables the extraction of large volumes of information from web resources, making it particularly valuable for price analysis, market trend monitoring, and evaluating competitive activity. The focus is on the application of modern tools such as Python and its libraries (BeautifulSoup, Scrapy, Selenium), as well as the use of analytical platforms, databases, and cloud solutions for data storage and processing. The article describes the key stages of the web scraping process, including source identification, data extraction, parsing, storage, and analysis. Special attention is paid to legal and ethical aspects, such as compliance with copyright laws and data confidentiality, along with recommendations for the lawful use of technology. Practical examples illustrate how web scraping is applied to monitor prices in the Russian market, analyze consumer reviews, and predict price changes. The article also explores the prospects for web scraping development, including integration with artificial intelligence and machine learning, positioning it as a vital tool in the digital transformation of the economy.

 web scraping анализ данных цены экономика мониторинг автоматизация информационные технологии web scraping data analysis prices economics monitoring automation information technologies

Mitchell, R. Web Scraping with Python: Collecting More Data from the Modern Web. 2nd ed. O'Reilly Media, 2018. 394 p. Mitchell, R. Web Scraping with Python: Collecting More Data from the Modern Web. 2nd ed. O'Reilly Media, 2018. 394 p. Crummy, K. Beautiful Soup Documentation. URL: https://www.crummy.com/software/BeautifulSoup/ (дата обращения: 23.12.2024). Crummy, K. Beautiful Soup Documentation. URL: https://www.crummy.com/software/BeautifulSoup/ (data obrascheniya: 23.12.2024). McKinney, W. Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython. 2nd ed. O'Reilly Media, 2017. 550 p. McKinney, W. Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython. 2nd ed. O'Reilly Media, 2017. 550 p. Pandas Development Team. Pandas Documentation. URL: https://pandas.pydata.org/ (дата обращения: 23.12.2024). Pandas Development Team. Pandas Documentation. URL: https://pandas.pydata.org/ (data obrascheniya: 23.12.2024). NumPy Community. NumPy Documentation. URL: https://numpy.org/ (дата обращения: 23.12.2024). NumPy Community. NumPy Documentation. URL: https://numpy.org/ (data obrascheniya: 23.12.2024). Scrapy Project. Scrapy Documentation. URL: https://docs.scrapy.org/ (дата обращения: 23.12.2024). Scrapy Project. Scrapy Documentation. URL: https://docs.scrapy.org/ (data obrascheniya: 23.12.2024). Selenium Project. Selenium Documentation. URL: https://www.selenium.dev/documentation/ (дата обращения: 23.12.2024). Selenium Project. Selenium Documentation. URL: https://www.selenium.dev/documentation/ (data obrascheniya: 23.12.2024). Федеральный закон от 27 июля 2006 г. № 152-ФЗ "О персональных данных". СПС "КонсультантПлюс". Federal'nyy zakon ot 27 iyulya 2006 g. № 152-FZ "O personal'nyh dannyh". SPS "Konsul'tantPlyus". Гражданский кодекс Российской Федерации (часть четвертая) от 18 декабря 2006 г. № 230-ФЗ (в ред. от 1 июля 2021 г.). СПС "КонсультантПлюс". Grazhdanskiy kodeks Rossiyskoy Federacii (chast' chetvertaya) ot 18 dekabrya 2006 g. № 230-FZ (v red. ot 1 iyulya 2021 g.). SPS "Konsul'tantPlyus". Tableau Software. Tableau Public Documentation. URL: https://public.tableau.com/ (дата обращения: 23.12.2024). Tableau Software. Tableau Public Documentation. URL: https://public.tableau.com/ (data obrascheniya: 23.12.2024). Google Cloud. BigQuery Documentation. URL: https://cloud.google.com/bigquery/ (дата обращения: 23.12.2024). Google Cloud. BigQuery Documentation. URL: https://cloud.google.com/bigquery/ (data obrascheniya: 23.12.2024). LinkedIn vs. HiQ Labs Inc. Case No. 19-1116, Ninth Circuit Court of Appeals, 2020. LinkedIn vs. HiQ Labs Inc. Case No. 19-1116, Ninth Circuit Court of Appeals, 2020. Величко А. В., Иванов С. А. Влияние цифровых технологий на развитие экономики // Цифровая экономика и управление. 2022. Т. 5. № 2. С. 45–51. Velichko A. V., Ivanov S. A. Vliyanie cifrovyh tehnologiy na razvitie ekonomiki // Cifrovaya ekonomika i upravlenie. 2022. T. 5. № 2. S. 45–51. Институт развития интернета. Прогнозы цифровой трансформации в России // Экономика и технологии будущего. 2022. Т. 12. № 3. С. 22–29. Institut razvitiya interneta. Prognozy cifrovoy transformacii v Rossii // Ekonomika i tehnologii buduschego. 2022. T. 12. № 3. S. 22–29. Open Data Handbook. What is Open Data? URL: https://opendatahandbook.org/ (дата обращения: 23.12.2024). Open Data Handbook. What is Open Data? URL: https://opendatahandbook.org/ (data obrascheniya: 23.12.2024).