Кейс парсинга. Быть первым.

Кейс парсинга. Быть первым.

Мы каждую неделю пишем несколько парсеров, но этот оказался весьма необычным и показательным, что решил написать кейс про него.

Парсингом копировать можно не только описания с других магазинов или объявления Avito, но и быть первыми при заявках от клиентов в очень конкурентной среде.

К нам обратился перевозчик, который занимается перевозками грузов из РФ в Белорусь и обратно. Для меня было несколько неожиданной узнать, что эта среда очень конкурентна, и у них сидит круглосуточно операторы и только и делают, что постоянно обновляют сайты с запросами на перевозку. Пару минут задержки — и клиента увели конкуренты, а предельные издержки на каждого клиента не высокие, в большей части машины едут не до конца загруженные.

Наша задача было написать парсинг с 5 сайтов, которые бы постоянно мониторили все заявки, отбирали по определенным критериям и сравнивали.
Первая сложность была в том,что все сайты разные, и к тому-же некоторые с авторизацией, для таких сайтов была написана авторизация с настройками.

Настройка сайтов с авторизацией
Настройка сайтов с авторизацией

Можно сразу заложить ссылку с параметрами для сайта, чтоб собирать только определенные маршруты, а также интервал сбора данных, и возможность использовать прокси. С некоторых сайтов, удалось собирать данные каждые 4 секунды, максимум был — 30 секунд — гораздо чаще, чем могли просматривать операторы.

Все данные сохранялись в общую таблицу, причем такие данные как адреса, грузы, контакты клиентов распарсивались и сохранялись по своим ячейками

Итоговые результаты
Итоговые результаты

В программе можно дополнительно отфильтровать грузы по определенным параметрам, и отметить какие взяты в работу.
Обработанные заявки уже можно отдельно выделить и выгрузить для логиста.

Выгрузка для логиста

Хорошей изюминкой было, то что парсер не только собирал информацию, но также сравнивал — новая ли это заявка, и если заявка новая — сразу подавала звуковой сигнал и выдавала сообщение.

Наш парсер существенно облегчил работу операторов от постоянного монотонного мониторинга, и обнаруживал заявку быстрее, чем это делали операторы, что позволяло первыми связываться с клиентами, даже в такой конкурентной отрасли.