Сбор данных о рынке недвижимости для аналитического агентства

Задача

Разработать парсеры для 5 сайтов с недвижимостью, собрать данные по 50 000+ объявлений, очистить и структурировать данные, выгрузить в удобном для анализа формате (CSV, Excel).

Решение

Создали распределенную систему парсеров, которые обходили сайты в обход блокировок (смена прокси, user-agent, задержки). Данные собирались в PostgreSQL, очищались от дублей и мусора. В итоге заказчик получил чистый датасет с 50 000+ записей.

Результаты

• Агентство подготовило отчет за 2 недели вместо 3 месяцев
• Отчет купили 15 крупных девелоперских компаний
• Заказчик заказал ежемесячный мониторинг цен
• Мы получили контракт на год

Технологии