Парсер цен Яндекс-Маркета Marketparser.ru

Пришла пора испытаний сервиса marketparser.ru. У сервиса всего одно назначение, собирать цены с Яндекс-Маркета. Как правило, узкоспециализированные сервисы справляются со своей задачей гораздо лучше универсальных решений. Сейчас  мы это протестируем.

Тест сервиса marketparser.ru

Для всех желающих есть возможность бесплатно протестировать сервис на 1000 строк парсинга. Это значит собрать цену и 1000 товаров 1 раз, или 100 раз  и т.п. Сервис сразу предлагает загрузить список со своими позициями. Специально подготовил файл товары для тестов с несколько реальных магазинов моих клиентов разной тематики. Cервис попросил указать колонки для импорта данных, странно что нет поля для артикула

Выбор колонок

Следующий этап — необходимо выбрать пресер экспорта — можно задать регионы для сбора цены, черный и белый списки магазинов и колонки для отчета. Выбор весьма богатый:

И третий этап — непосредственно экспорт данных:

У меня в списке был 441 товар, за каждый товар снимается одна условная единицы, про тарификацию будет дальше. Вся обработка заняла чуть больше минуты, посмотрим результаты Скачать результаты.

На первый взгляд — очень хорошо, почти на все товары найдены предложения и конкуренты. Проверим выборочно достоверность.

Сервис собрал цены не только с карточек товаров, но и для товаров без карточек.  Более того, сервис учитывает уникальность предложений —  считается именно количество магазинов по текущему товару.

Но есть и существенные недостатки. Сервис использует только строгие вхождения. Например по товару “Коляска классическая 2 в 1 Anex Classic с01 brown” отобрал только 1 предложение, на самом же деле предложений 13. Или же “Коляска классическая 2 в 1 Jetem LAURA  бежевый/клетка” — показывает 1 предложений, на самом деле же их более 200. Да в этих 200х нет указания цвета, но каждый магазин записывает цвета по разному, например у нас  в списке есть “Коляска 2 в 1 Camarelo Carmela Эко-кожа оранж-белый “, а товар на Яндекс-Маркете “Коляска 2 в 1 Camarelo Carmela Эко-кожа оранжевый-белый “ — товары посчитались как разные.

Попробуем товары, где все более однозначно, и нет цветов.

Проверим “Модуль памяти DDR3 16Гб (2×8Гб) PC3-10600 KINGSTON HX313C9FRK2/16”   — тут все должно быть просто, есть четкий артикул производителя, но сервис нашел только 2 предложения, по факту их больше 50

Модуль памяти DDR3 4Гб PC3-10600 KINGSTON KVR13LR9S8/4 ECC  сервис 3, по факту 20.
Клавиатура проводная LOGITECH K280e черный USB   1 против 57

С большинством ноутбуков очень плохо, сервис показал по 1-3 предложений, а по факту их десятки, или даже сотни. И даже если товар без карточки, например по товару “Ноутбук 15.6″ ASUS ROG GL552VW (90NB09I3-M01780)”  показано 2 из 10 фактических

В сантехнике ситуация, увы,  аналогичная.

Попросим прокомментировать данную ситуацию в технической поддержке, и достаточно быстро получил ответ:

“Добрый день.
У вас в прайсе указано следующее название: «Ноутбук 15.6″ ASUS ROG G551JX (90NB08C2-M04680)».
Поиск товаров производится по полному названию товара. В результатах поиска такой строки — в данный момент 3 предложения по Москве, и карточка не была найдена: https://market.yandex.ru/search.xml?hid=91013&text=%D0%9D%D0%BE%D1%83%D1%82%D0%B1%D1%83%D0%BA%2015.6%22%20ASUS%20ROG%20G551JX%20(90NB08C2-M04680)&srnum=3&manufacturer_warranty=1&how=aprice

Но если искать строку «90NB08C2-M04680» (это, видимо, уникальный артикул данной конкретной модификации этой модели ноутбука), то будет найдена одна карточка, и в ней уже много предложений.
Если есть возможность выгрузить в файл только артикулы по категории Ноутбуков — это может улучшить результаты поиска.
Если это не поможет, или нет такой возможности — вы можете указать ID правильной карточки в загружаемом в нашу систему прайсе. ID карточки (это число 12840560 в ссылке карточки https://market.yandex.ru/product/12840560) следует разместить в отдельной колонке в строке товара. После этого, на этапе сопоставления колонок нужно будет указать правильный тип колонки для колонки с ID карточек:

Указывать ID карточек для всех товаров не нужно, можно указать только для тех товаров, у которых карточка не найдена, или найдена неправильно. “
То что сбор идет только по названию это понял сразу, увы, это действительно очень ограничивает работу, и дает лишь ответ частично. Приведенные товары для теста — очень “причесанные”, многие вручную. Практически во всех магазинах я вижу полный хауз в названиях, чего туда только не пихают. Попробуем посмотреть только на примере одного ноутбука на том же Яндекс-маркете:

-Ноутбук Lenovo IdeaPad G5080 Black 80E5000NRK Intel Core i7-5500U 2.4 GHz/8192Mb/1000Gb/DVD-RW/Radeon R5 M230 2048Mb/Wi
-Ноутбук Lenovo G50-80 (Core i7 5500U 2400 Mhz/15.6″/1366×768/8.0Gb/1000Gb/DVD-RW/AMD Radeon R5 M230/Wi-Fi/Bluetooth/Win
-Ноутбук LENOVO IdeaPad G5080, 15.6", Intel Core i7 5500U, 2.4ГГц, 8Гб, 1000Гб, AMD Radeon R5 M230 — 2048 Мб, DVD-RW, Windows 8.1, черный [80e5000nrk]
-Ноутбук Lenovo IdeaPad G5080 15.6″ 1366×768 Intel Core i7-5500U 80E501YURK
-Ноутбук Lenovo IdeaPad G5080 / 80E501YURK (15.6 LED/ Core i7 5500U 2400MHz/ 8192Mb/ HDD 1000Gb/ AMD Radeon R5 M330 1024Mb) MS Windows 8.1 (64-bit)

Искать по таким названиям никакого смысла — только свои предложения можно найти. Но такая ситуация есть не во всех категориях. Например в бытовой технике, как правило, используют в названии только бренд и модель, иногда цвет. Также, самое важное, Вы можете повлиять на этот процесс, и использовать названия товаров без каких либо характеристик. Более того, я рекомендую использовать именно такие названия. После переписки с технической поддержкой, выяснилось, что они могут настроить очистку на своей стороне, и некоторые клиенты уже работают по такой схеме.

Поэтому перед тем как воспользоваться данным сервисом, скорее всего придется поработать над собственным прайсом.

Стоимость решения

Цена зависит от количества  поисков товара, за 500 рублей можно получить 5000 строк поиска, аз 5000 рублей уже 200 000. Детально про тарифы. Marketparser.ru/#cost

Будущее проекта marketparser.ru

Мне удалось детально пообщаться с одним из разработчиков сервиса marketparser.ru Кириллом Кроликом.

— Кирилл интересно услышать Ваше мнение о работе сервиса, с какими сложностями сталкиваетесь, а также какое планируете развитие?

-Хотелось бы сказать, что в ближайшее время мы планируем крупное обновление сервиса. В рамках этого обновления будут введены как новые функции, так и немного переработан существующий функционал. В частности (о чём упоминалось в статье) — будут использованы все новые функции поиска Яндекс-Маркета (это определение категории товара по поисковой строке, чтобы избежать неправильных предложений, автоматическое применение фильтров по характеристикам, исправление поисковой строки, в которой есть опечатка). В целом это должно несколько улучшить результаты поиска

Что касается нового функционала — это будет следующее:

— автоматическое обновление прайса по ссылке (это может быть как ссылка на YML прайс, так и ссылка на табличный файл)
— анализ результатов поиска позиций прайса (сколько позиций было найдено с каким результатов — однозначно найдена карточка, нет карточки, несколько карточек)
— возможность указать правильную карточку для товаров, где найдено несколько карточек (в интерфейсе, не нужно добавлять новые колонки в прайс, загружать его заново и т.д.)
— возможность создавать отчёты по расписанию и получать файлы отчётов на e-mail

Также будет немного реструктурирован существующий функционал.
И мы добавим раздел “Часто задаваемые вопросы”, в котором разместим описание того функционала, который сейчас скрыт в интерфейсе, но может быть включён через тех. поддержку. Планируемое время обновления — начало следующей недели.

Что касается поиска. Действительно, результаты поиска не всегда такие, какие ожидаются. Очень многое зависит от категории искомых товаров, а также названий товаров в анализируемом прайсе. Но следует понимать, что сама по себе задача поиска правильных соответствий предложений (или карточек) и строки в произвольном формате — достаточно сложная. Яндекс-Маркет регулярно обновляет свои алгоритмы поиска, использует много факторов для предоставления наиболее точных результатов. Например, даже факт нахождения карточки товара может отличаться в зависимости от региона, по которому производится поиск. Популярность товаров (их рейтинг по отзывам, количество предложений) — тоже влияет на результаты поиска. И, в целом, Яндекс-Маркет с задачей поиска справляется неплохо. Но на качество результатов поиска напрямую влияет «качество» названий товаров в прайсе. И если качество названий не очень хорошее (для целей поиска), то тут есть 2 варианта: — изменить названия товаров, чтобы они искались лучше — для некоторых прайсов это можно делать автоматически, т.е. не нужно менять названия в вашей системе, и вообще ничего не нужно делать руками. Для этого нужно обратиться в тех. поддержку, и, если это можно сделать автоматически, мы сделаем индивидуальную очистку названия товара от ненужной информации. Например, для ноутбуков, из названия «Ноутбук 15.6″ Lenovo G50-80 (80E501U7RK)» можно выделить артикул производителя — 80E501U7RK, он в скобках отделён от основного названия, и в результатах по нему — правильная карточка, и 80 предложений по Москве. Для оперативной памяти «Модуль памяти DDR3 16Гб (2×8Гб) PC3-12800 CORSAIR CMY16GX3M2A1600C9B» — можно выделить производителя и артикул («CORSAIR CMY16GX3M2A1600C9B»), результаты поиска по такой строке — тоже очень хорошие. К сожалению, предложить универсальное решение по очистке названий товаров (для всех типов товаров, всех названий и всех клиентов) нет возможности, но на основе существующих прайсов можно выработать подходящий алгоритм очистки названия для конкретного прайса. Функционалом индивидуальной очистки названия уже пользуются некоторые наши клиенты. И реализация нового алгоритма очистки обычно не занимает больше нескольких часов. Также у нас есть отдельное решение для категории шин. Поиск по шинам на Яндекс-Маркете — не очень хороший, поэтому мы реализовали более строгий поиск, во многих случаях удаётся однозначно определить правильную карточку для конкретного набора характеристик шин (диаметр/параметры профиля). Эта функция — реализуется через тех. поддержку. — проставить ID карточек вручную — этот вариант имеет смысл только когда предыдущий вариант (очистка названия) нет возможности реализовать, или он не даёт хороших результатов. Теоретически мы могли бы взять эту задачу на себя. Но нужно понимать, что это длительный процесс, требующий высокой концентрации исполнителей. Особенно для прайсов большого размера. Проблема с проставлением связей на нашей стороне в том, что в этом случае клиент будет ожидать, пока его прайс будет обработан (в зависимости от размера прайса — это может занять длительное время).
К тому же, при выполнении таких действий, у нас просто не было бы возможности держать цены на текущем уровне. Также часто проставлять ID карточек для всех позиций нет необходимости, и многим клиентам необходимо это делать только для некоторых позиций. Поэтому в данный момент этот вариант реализуется клиентом. А в скором времени для товаров, где найдено несколько возможных карточек, будет возможность выбрать правильную карточку в интерфейсе сервиса.

2. Что касается определения цен по другим магазинам. Мы еще поддерживаем работу с dns-shop.ru и technopoint.ru. В интерфейсе в данный момент такого нет, но через обращение тех. поддержку можно настроить получение отчётов по этим магазинам.

Спасибо Кирилл, за столь подробный, развернуты ответ.

Выводы
Плюсы:

• Считает именно магазины, а не все предложения
• Есть API для загрузки прайсов и получения результатов
• Очень простой и понятных интерфейс
• Быстрый сбор данных
• Хорошие настройки экспорта

Минусы:

• Поиск только по названию, поэтому данные очень примерные
• Нет поиска отдельно по артикулу, было бы очень удобно сделать это опционально, с возможностью учета производителя.

Мнение эксперта

Сервис marketparser.ru весьма интересен, особенно если Вам необходимо быстро собрать и не самые точные данные с Яндекс-Маркета. Качество сбора очень зависит от наименований в вашем списке товаров. Для более точного отслеживания цен необходимо будет откорректировать наименования своих товаров или указать для важных товаров ID карточек товаров. Ставлю сервису твердую четверку