Кейс парсинга. Быть первым.
Мы каждую неделю пишем несколько парсеров, но этот оказался весьма необычным и показательным, что решил написать кейс про него.
Парсингом копировать можно не только описания с других магазинов или объявления Avito, но и быть первыми при заявках от клиентов в очень конкурентной среде.
К нам обратился перевозчик, который занимается перевозками грузов из РФ в Белорусь и обратно. Для меня было несколько неожиданной узнать, что эта среда очень конкурентна, и у них сидит круглосуточно операторы и только и делают, что постоянно обновляют сайты с запросами на перевозку. Пару минут задержки — и клиента увели конкуренты, а предельные издержки на каждого клиента не высокие, в большей части машины едут не до конца загруженные.
Наша задача было написать парсинг с 5 сайтов, которые бы постоянно мониторили все заявки, отбирали по определенным критериям и сравнивали.
Первая сложность была в том,что все сайты разные, и к тому-же некоторые с авторизацией, для таких сайтов была написана авторизация с настройками.
Можно сразу заложить ссылку с параметрами для сайта, чтоб собирать только определенные маршруты, а также интервал сбора данных, и возможность использовать прокси. С некоторых сайтов, удалось собирать данные каждые 4 секунды, максимум был — 30 секунд — гораздо чаще, чем могли просматривать операторы.
Все данные сохранялись в общую таблицу, причем такие данные как адреса, грузы, контакты клиентов распарсивались и сохранялись по своим ячейками
В программе можно дополнительно отфильтровать грузы по определенным параметрам, и отметить какие взяты в работу.
Обработанные заявки уже можно отдельно выделить и выгрузить для логиста.
Хорошей изюминкой было, то что парсер не только собирал информацию, но также сравнивал — новая ли это заявка, и если заявка новая — сразу подавала звуковой сигнал и выдавала сообщение.
Наш парсер существенно облегчил работу операторов от постоянного монотонного мониторинга, и обнаруживал заявку быстрее, чем это делали операторы, что позволяло первыми связываться с клиентами, даже в такой конкурентной отрасли.