Система мониторинга цен конкурентов Metacommerce.ru

Настало время обзора очередного онлайн сервиса мониторинга цен конкурентов — metacommerce.ru

Заранее благодарю директора по развитию сервиса — Алексея Голякова за дружескую встречу, на которой детально рассказал о сервисе, клиентах сервиса, особенностях, и предоставил полный доступ для детального изучения и тестирования. Поехали, тест будет очень строгий.

• Первое знакомство
• График распределения
• Достоверность результатов сбора цен
• Проверка полноты парсинга
• Сопоставление товара
• Загрузим свой ассортимент
• Стоимость сервиса
• Будущее проекта
• Выводы
• Мнение эксперта

Первое знакомство.

После авторизации в системе, мы сразу попадаем на страницу “Сводные цены”:

Страница условно разделена на три блока — параметры фильтрации, графики цен, и сводная таблица по ценам. Пройдется по каждому блоку.
В параметрах фильтрации есть все что необходимо, и даже больше: Выбор конкурентов, выбор общих колонок, выбор колонок магазина, и отбор по ассортименту

Пару разъяснений что такое цена сайта, и цена ассортимента — поначалу это меня также сбило: в систему можно загружать две цены, она которая используется на сайте, и вторая “цена ассортимент”. Сравнение можно производить как между ценами сайта, так и ценами ассортимента. Цена сайта берется с Вашего сайта автоматически, а цена ассортимент — загружается вручную или через API. Можно использовать одну из них, или обе  — как удобней.

И второй момент что такое ассортимент и что такое общий каталог. Это наверно самая интересная часть сервиса и одно из преимуществ.  Ассортимент — это то что мы добавляем в систему для анализа: наши товары, категории, коды, артикулы. Общий каталог — это все данные которые собирает система — по всем категориям, товарам, магазинам которые мониторятся. Товары в общем каталоге изменить нельзя. Это дает важное преимущество, первое это быстрый старт — данные уже собираются, необходимо только связать с каталогом клиента. Второе — это дает возможность быстро узнать, какие товары, категории, бренды есть у конкурентов, но нет в нашем магазине.

График распределения цен.

На графике в количественном соотношении товаров выводится распределение цен относительно средних цен конкурентов. Видим 7 степеней градации: цена такая же и отклонения в 25%, 50%, 75% в обе стороны. Фильтрами можем выбрать по каким данным выводить — каких конкурентов брать в расчет, какие категории, бренды, серии или определенные товары.

Результаты

В результатах можно вывести практически любые данные, по каждому магазину можно получить цену с сайта и цену этого же магазина с Яндекс-Маркета, какая была последняя цена до этого, когда изменялась, ссылки для сбора, отклонения и т.п. С этим все вопросов нет — очень удобно

Разберемся с самими данными и заодно детально проверим их достоверность Сразу отмечу, что все результаты выводятся в виде активных ссылок, что очень удобно — можно сразу перейти на предложение магазина или карточку товара. Колонка — предложений, количество конкурентов, которые нам интересны, и у которых есть данный товар. Какие именно конкуренты нам интересны выбираются в договоре. А вот количество предложений ЯМ — это то сколько всего магазинов с Яндекс-Маркета предлагают данный товар.

Проверим все ли данные собираются с Яндекс-Маркета верно.

Данные по выбранных конкурентам показываются верно, а вот число предложений на Яндекс-Маркете, почему то далеки от реальности, есть даже товары, которых сервис показывать ноль, а по факту на Маркете более 100 предложений. Но именно таких, конкурентных “косяков” меньше 10%.  Главное что цены по интересующим конкурентов собираются корректно, а для понимания общей картины конкурентности, достаточно и относительных показателей.

Отдельно есть колонка минимальная (средняя, максимальная) цена карточка, и вычисляемая. Это очень удобно для товаров Яндекс-Маркета , у которых нет карточки товара — сразу понимаем среднюю “температуру” по рынку. Но обратил внимание, что между вычисляемой и фактической есть разница Одно из предположений таких данных — стоит фильтр данных, и собираются данные только от определенных магазинов, скажем так — проверенных, или имеющих какое-то значение. Подтверждение этому — не на всех товарах есть минимальная цена Яндекс-Маркета . Получается вычисляемая по магазинам которым происходит сбор, но мы не знаем по каким — т.е. это вполне подойдет для понимания средней, для минимальной же будет во многих случаях ошибочной. (В последствии информация подтвердилась, сбор идет не со всех магазинов, отбор указывается клиентом) Поля — магазин с минимальной и магазин с максимальной ценой отсутствует везде, почему так — не понятно. Вероятно никому не интересно какой именно магазин продает определенный товар по минимальной цене.

Поиск же магазина с минимальной и максимальной ценами среди отобранных конкурентов выводится и определяется абсолютно верно.

Достоверность результатов сбора цена.

Проверим достоверность собираемых цен в Metacomerce. На это ушло больше недели тонкой работы — найти товары на которые изменилась цен на сайте мониторинга, и как быстро эти изменения зафиксировались системой.

С большинства сайтов сервис собирает цены 3 раза за сутки, с некоторых раз в сутки, причем время обновления для определенной категории примерно постоянно.

В самые первые дни мне удалось отметить что некоторые цены на сайтах, Яндекс-Маркете отличаются от собранных цен сервисом. В проверке, очень помог Яндекс-Маркета — если магазин изменяет цены на сайте, на Яндекс-Маркете эти изменения происходят в течении нескольких часов. Но все оказалось гораздо интересней. Сервис собирает цены правильно, но например, магазин “Эльдорадо” изменяет цены на своем сайте спустя около 2 часов, после прохождения вечернего парсера. Причем изменения на цены происходили только на товары, которые явно выше среднего по рынку. Случайность? — Не думаю.

Разброс цен на товар, конечно очень большой, на некоторые товары разница в цене между магазинами достигала до 10%, что подчеркивает важность анализа рынка не только покупателям, но и продавцам.

Более 200 проверок цен, и я не выявил ни одной ошибки. Также система корректно определяет товары с уценкой, витрина и т.п. — такие товары не попадают в систему. А вот в самом парсере их можно найти и пользоваться фильтром — показать товары на витрине, в уценке, под заказ и многое другое. Обратил внимание, что если товара нет в наличии, и на сайте нет цены, например как это происходит в MediaMart — система выводить последнюю цену, но обозначает что нет в наличии.

Еще одним тест коснулся магазин Dns-Shop, на сайте можно свободно скачать прайс, который обновляется раз в день. Первая мысль — зачем парсить цены с сайта, если их можно брать в excel и продавать как информацию. В прайсе выделил несколько позиций, на которые цена изменилась на сайте в течении дня и сверил с данными сервиса. Все честно — данные собираются с сайта. Также проверил собираются ли данные согласно региону. Магазин DNS-Shop предоставляет для разных регионов различные цены. И тут все оказалось корректно, цены собираются с сайта согласно региону. Многих товаров DNS не было в списке, уже даже испытал радость — нашел “дефект”. Но оказалось что парсер фильтрует данные также по дате наличия, доставки. По умолчанию попадают товары, которые есть только на сейчас. Чтоб увидеть все товары, есть едва заметный фильтр, где можно выбрать фильтр наличия.

Проверка полноты парсинга

Найти каких-то недочетов в сборе цен не удалось, решил проверить: а все ли товары собираются?

Методика эксперимента. На сайтах, у которых есть раздел “Новинки”, ежедневно отмечаю товары, которые стали новинками, и проверяю как быстро они быстро появятся в сервисе Metacommerce. Если такого раздела нет, то просто искал товары, которые имеют максимально большие коды товара. Такая проверка происходила на протяжении двух недель.

Интересно, что результаты для разных сайтов отличаются. Товары-новинки, найденные на Эльдорадо, и Dns-shop попадали сразу, при следующем сборе информации. Наибольшую задержку имел магазин Mediamarkt — в среднем данные о новинках попадали в систему через 3-4 дня. Причем очень интересно. Например — 22 числа, товар добавили на сайте, в данных парсера его нет.  23 числа — нет, 24 числа нет, 25 — появляется, но в если просмотреть результаты вновь за 23 и 24 числа — данные там есть и с верной ценой. Почему так не понятно, но не столь существенно. (Скорее всего это связано с наличием товара, в Mediamarkt товары появляются на сайте чуть раньше реального наличия)  Данные о новых товарах попадают в систему быстро, и более 3 дней задержки я не наблюдал. Очень хороший результат.

Сопоставление товара

Собрать данные это только часть дела. Необходимо еще товары сопоставить, т.е. определить какие товары с разных магазинов являются одинаковые, и связать товары нашего магазина с этими данными.

Проверим, все ли тут нормально.
В первую очень проверка коснулась — правильно ли сопоставляются одинаковые модели, но с некоторыми отличиями. Например телефоны по цвету и размеру памяти.

На разных сайтах, названия абсолютно разные, где-то на разных языках цвет, а наличие какой-то функции можно найти только в параметрах, тут никак не обойтись без ручных проверок и сопоставлений.

Все данные корректные, удалось найти всего несколько ошибок.

Особенность DNS и Mediamart- в названии ноутбуков, указываются только серия, нигде нет данных о полной модели, например Ноутбук ASUS X552EA черный — данной серии существуют 15 модификации, Вот тут и нашел ошибки сопоставления, но это уже придирки — такие случаи можно стыковать только кропотливым, ручном путем. Как их сами отличают сотрудники DNS — я не знаю.

Решил усложнить задачу. Добавить в систему новые товары, и проверить как быстро по ним создадутся связи

Загрузим свой ассортимент

Теперь самое интересное, как система справится с товарами, которыми в нее загрузим. Товары отобрал строго по требованиям системы — с названиями, парт-номерами, производителями, но с некоторым подвохом. Со списком товаров, которые я подгрузил, можно ознакомится — товары для импорта, почти 1600 различных позиций

Загрузить ассортимент можно только в файле строгой структуры, и названиями полей, что не очень удобно. Гораздо удобней было бы сделать импорт в XML. Надеюсь скоро доработают такую возможность.

Если обратится в справку сервиса (За что отдельный плюс — очень детальная инструкция: что, зачем и почему), по сопоставлению товаров найдем следующую информацию:

Сопоставление товаров осуществляется автоматически по следующим параметрам:

• наименование товара (полное совпадение названия товара в ассортименте клиента и на сайте конкурента);
• часть названия (частичное совпадение названий с учетом значимости отдельных слов, наличия синонимов, особенностей написания);
• ссылка на товар (используется привязка вида «ссылка на карточку товара на сайте клиента» – «ссылка на карточку товара на сайте конкурента»);
  
• код или артикул производителя;
  
• артикул магазина;
• сочетание названия и набора значимых технических характеристик.

Очень хорошие механизмы, особенно наличие синонимов — в программах по обработке прайсов такого функционала нигде нет.
Загруженные товары появляются сразу, но связи с основным каталогом обновляются раз в сутки. Вот качество этих связей и проверим.

А теперь о “пакостях”. В загруженном файле в названии ноутбуков и мониторов  специально добавлены  размер экрана, кое-где не указан парт-номер, неверный производитель, и обязательно — процессоры разной комплектации.

Начнем с ноутбуков.

Неожиданно вылезли недочеты, которые не были обнаружены ранее. Парсер при сборе названий обрезает названия, а в Citilink названия очень длинные, и парт-номер содержится в самом-конце. И поэтому в таких ноутбуках как Ноутбук LENOVO IdeaPad 100-15IBY, 15.6″, Intel Celeron N2840, 2.13ГГц, 2Гб, 250Гб, Intel HD Graphics , Windows 10, черный [80mj00dtrk]  парсер не видит парт номер, и среди сопоставленных предложений этих товаров нет.

Причина этого, то что цены собираются напрямую с категории, и это существенно облегчает сбор цен, т.к. не надо заходить в каждый товар — но такими данными воспользоваться нельзя. Данный недостаток наблюдается только у малой части товаров, но больше десятка нашел сразу. Также заметил и проблемы в сопоставлении ноутбуков ASUS т.к. модель была указана только частично, но зато был партномер, например  ASUS ROG GL552VW (90NB09I1-M03740), при этом он представлен в магазинах но с названием GL552VW-DM321T. Это конечно не доработка, потому-что в системе есть уже товары у которых указана полностью модель и партномер и  случай такой не единичный.

Проверим мониторы. Конечно же есть ошибки в мониторах Philips, я сам с ними мучаюсь с их двойными моделями вроде PHILIPS 243V5LAB/00(01)
С блоками питания все сработало отлично, сервис все корректно обработал, проигнорировал мощность в названии товара, и какие-то данные не относяеся к модели.

И наконец, процессоры. Как сервис отработает комплектации OEM и BOX, ведь по сути это разные товары по разной цене. Похоже сервис вообще не учитывает комплектации, эти товары оказались идентичные

Стоимость сервиса:

Цена сильно зависит от множества параметров. В основном это количество конкурентов, размер товарной матрицы и количество регионов. Так же влияет частота мониторинга. Стоимость у всех клиентов индивидуальная и колеблется от 10.000 рублей до нескольких сотен

Будущее проекта

За время тестирования, мне удалось познакомится с генеральным директором Metacomerce, Павлом Минченковым и поинтересоваться будущем проекта

— Павел, какие планируются нововведения в сервисе.

— Разработка модуля аналитики, в том числе переработка текущей сводной таблицы для более удобного конструирования необходимых отчетов. Разработка новой версии модуля автоматического ценообразования.

— Могли бы немного подробней рассказать о этих функциях?

-Это отчасти коммерческая тайна. Общее направление развития я указал, мне кажется детали описывать неверно 🙂

Соглашусь с Вами, будет мне повод протестировать новый функционал. Автоматическое ценообразования это действительно очень востребованный функционал, т.к. получение данных это одно, а на корректирование цен согласно своей стратегии задаче не менее ресурсоёмкая. обязательно буду следить за новыми версиями.

Выводы

Плюсы:

— Отличная реализация с “общим каталогом”
— Оконченное и самостоятельное решение для анализа цен магазина относительно конкурентов.
— Большая частота сбора данных. Некоторые категории обновляются каждые 2 часа. При необходимость можно даже запустить внеочередной сбор вручную.
— Возможность обмена данными по API
— Точные данные сбора данных с сайтов конкурентов
— Качественная и подробная справка

Минусы:

— Корректно работает только в Chrome, в Firefox появлялись некоторые артефакты
— Некоторые данные с Яндекс-Маркета не полные и вводят в заблуждение
— Не понятный механизм создания ручных привязок
— Присутствуют еще некоторые мелкие ошибки

Мнение эксперта

Это был не просто тест, а настоящий краш-тест на стойкость. Мне дали зеленый свет проверять на самые уязвимые места. Если у Вас возникло впечатление, что в системе еще полно ошибок — то это не так. Я специально экспериментировал на крайних случаях, чтоб понять — где же граница возможностей. Если записать все тесты которые провел, то получиться бы объем текста не меньше докторской диссертации. За 2 месяца тестирования, не только “перетрусил” весь сервис, но и познакомился с очень дружественной и единой командой Metacommerce  менеджерам, программистам, тех-поддержкой, которая быстро исправляла какие-либо неясности. Тем не-менее еще остались некоторые моменты, которые можно доработать и сделать систему лучше и надежней.

Оценка. — Пять с минусом, еще нужно чуть-чуть доработать.