Программы для обработки прайс-листов. Часть 3. E-Trade Price List Importer

Дошла очередь до тяжелой артиллерии. Впервые я познакомился с Price List Importer (далее PLI) в августе 2011. Признаюсь, пришлось месяц разбираться, что это за зверек, и почему за него столько хотят. Вскоре принял твердое решение перевести свой магазин на данный продукт.

• Обработка прайсов
• Алгоритмы поиска и сравнения одинаковых товаров
• Ценообразование
• Экспорт
• Производительность
• Дополнительные возможности
• Автоматическая обработка прайс-листов
• Работа тех. поддержки
• Будущее проекта
• Выводы
• Мнение эксперта

E-Trade PLI разработка Харьковских программистов, создан в 2006 г, и решение явно для профессионалов. E-Trade PLI — это не просто софт для обработки прайс-листов, это настоящий фотошоп для прайс-листов, изменит так, что никто не узнает.  Такой подробный обзор, как предыдущих программ не представляется возможным, так это получится произведение, сравнимое разве что с произведениями Льва Толстого. Решение очень мощное, но не лишено недостатков, во всей работе программы прослеживается явно мышление программиста, и иногда это плохо вписывается в работу реального магазины. Поэтому в данном обзоре E-Trade PLI будут рассмотрены основные возможности и отличия от других решений. Для желающих изучить подробней можно скачать бесплатно демонстрационную версию .

Программа продается в нескольких редакциях

• Lite на 1000 товаров стоимость 150 $.
• Standart на 3000 товаров, стоимостью 300 $
• Professional — не ограничено товаров 500$
• Network — сетевая версия 650$
• Так же существует возможность аренды программы всего за 50$ в месяц.

Несколько подробней о сетевой версий, т.к. этот момент часто вызывает вопросы. Network позволяет работать несколько пользователям в программе одновременно. (но за каждого пользователя более 2х, дополнительно 150$.) Для работы одновременно необходим Windows Server или  пропатчить windows 7 патчем, и дополнительным пользователям подключаться через RDP.

Обработка прайсов

Если магазин уже существует, и наполнен товарами, программа позволяет импортировать все товары с сайта через специально разработанный модуль E-Trade HTTP Tunnel, который работает со всеми современными CMS движками, для других или самописных CMS импорт можно осуществить через фаил YML (Яндекс Маркет) или товарной площадки такой как tui.ru, Prom.ua, Deal.by.

Price List Importer поддерживает обработку практически всех форматов прайс-листов — excel, XML, CSV, в последних версиях появилась возможность обновлять цены напрямую через API, но только для поставщиков — Merlion и OCS. В редких случаях поставщики присылают прайсы в PDF, такие прайсы невозможно подключить ни в этой ни других программах, но можно использовать конвертеры.  Также программа поддерживает скачивание прайса по ссылке, но без авторизации.

Программа E-Trade PLI позволяет сцеплять прайс-листы, когда цены в одном листе, наличие или другие данные в другом, программа легко их склеивает по коду, названию или их вхождению. Функция очень востребована.

Насчет импорта колонок — “полный фарш”,

а если этого мало, например “серия” или “коллекция” — можно создавать неограниченное количество индивидуальных полей. На этом моменте стоит остановится чуть подробней: при импорте доп. полей можно использовать регулярные выражения, или логические выражения. Например если у поставщика 2 склада, с разными сроками доставки, можно написать выражение, которое будет передать на сайт  время ожидания товара.

Если в прайсе несколько листов E-Trade PLI позволяет настроить каждый лист индивидуально, или использовать общие настройки.

Особый момент — определение категорий. Многие функции в программе работают на уровне категории, и настроек для определения категории очень много. Программа распознает категории, когда указаны явно (для каждого товара), в виде абзацев, в виде группировки, или раскрывающего списка. Для особых случаев есть распределение на основании форматирования,например, когда форматирование в прайсе цветами или шрифтом. Недостатка в этом не замечал.

Можно настроить даже такие прайсы, где объедены ячейки, или же наоборот, в прайсе есть общий товар, и варианты модификаций. Программа успешно их обрабатывает, но конечно после настройки.

Для совсем сложных случаев, со сложными условиями (например, вы хотите импортировать только товары с маржой более 15%, или название модели сделать заглавными буквами) программа поддерживает написание своих VBA макросов, что снимает любые  ограничения.

При обработке прайса можно указать достаточно сложный расчет закупочной цены. Бывает, что поставщики предоставляют в прайсе базовую цену, а для подсчета своей цены уже надо отнимать некий % в зависимости от категории или производителя.  E-Trade PLI легко справляется с такими задачами. Можно задать, что для холодильников Liebherr надо отнять 5%, а для Bosch 3%. Также можно загружать мультивалютные прайсы, причем программа может сама брать курс из интернета.

Для настоящих “экстрималов” присутствуют еще множество тонких настроек, которые описывать сейчас не имеет смысла. В общем в плане импорта все на отлично. Из недостатков — совсем маленький: программа не умеет брать прайсы из архивов.

Алгоритмы поиска и сравнения одинаковых товаров.

В программе целых 13 механизмов сравнения товаров, причем можно менять их порядок, и индивидуально настраивать для каждого прайса. Из значительных минусов — нет документации о каждом способе, приходится изучать, экспериментировать вручную. Поэтому попробую кратко рассказать о самых востребованных.

1. Поиск по артикулу — тут все ясно, поиск по артикулу /парт-номеру товара. Можно настроить минимальную длину артикула для сравнения. Если у Вас магазин электроники и много разных категорий, не рекомендую активировать этот метод, а лучше использовать:
2. Поиск по артикулу +производитель. Минимальную длину артикула в данном случае рекомендую поставить 5. Механизм работает надежно.
3. Поиск по названию — все просто, автоматически сопоставляет, если название совпало. Рекомендую всегда держать включенным, и обязательно более приоритетный чем последующие.
4. Поиск по названию с очисткой от кириллицы, спецсимволов и ключевых слов.  — алгоритм очень полезный но имеет особенности. Если в номенклатуре есть наименования состоящие только из кириллицы (русский букв) — например “турбощетка Karcher. “Мешки для пылесоса Karcher” и “насадка всасывающая Karcher”, то после очистки останется только “Karcher”  (это примеры из реальных магазинов),и товары склеятся. Чтобы этого не произошло, для каждого такого бренда можно настроить — не очищать кириллицу. Так же есть справочник слов которые можно очищать, или же наоборот “ключевое слово”, если оно есть в карточке товара, и встречается в прайсе по вхождение — это тот товар. Это уже конечно слишком подошел к деталям, но механизм очень полезный.
5. Поиск по регулярным выражениям, самый действенный и уникальный механизм. Для тех кто знаком с регулярными выражениями, сразу оценят все прелести механизма. Для тех кто не знает — это что-то вроде шаблонов для поиска, но они записываются в особом виде, и часто бывает достаточно, прописать пару выражений на категорию, чтоб находились одинаковые товары. Регулярные выражения можно составлять индивидуально для каждой категории, поставщика, производителя. Поистине чудесный механизм.
6. Сопоставление вручную. Конечно есть механизм ручного сравнения, для этого запускается особая процедура, под забавным названием — УМКА. Программа предлагает вариант из прайс листа, и наиболее похожий вариант из добавленных товаров. Механизмы очень серьезные, основаны на компьютерной лингвистике и серьезными математическими методами. В 95% предлагает правильный товар, остается только подтвердить выбор.

Есть и другие механизмы — по модели, кросс-номеру, описанию, вхождению артикула, но это рассчитано уже на частные случаи, пока рассматривать не будем.

Кроме этого, при автоматическом сопоставлении программа может учитывать цвет, причем благодаря справочнику цветов, программа определяет цвет даже если он записан как Черный, Чёрный, черн. Black и другие, и эти настройки можно подстроить под особенности своего товара.

Ценообразование

Механизм ценообразования в E-Trade PLI явно разрабатывал явный фанат цифр и математики. С ценами можно делать что угодно, как угодно и где угодно, как сразу так и по отдельности. Способы скидок /наценок в программе:

• Общая наценка на весь прайс
• Учет стоимости доставки (можно для каждой категории свою)
• Наценка на категорию прайс-листа
• Наценка на категорию учетной системы
• Наценка на основании правил импорта (очень удобный механизм, можно менять наценку, в зависимости от свойств товара — например только на белые беспроводные мыши скидка 5%)
• Пороговая наценка на прайс (количество порогов не ограничено в программе)
• Пороговая наценка на категорию
• Пороговая наценка на категорию +производителя (только на пылесосы Bosch дороже 100 уе)
• На основании производителя прайса (только на Razer из ТИД)
• Но основании наличия (под заказ скидка, или с ближнего склада наценка больше)

  

Так же можно использовать РРЦ, Спец. цены, назначать главные по цене прайсы, и даже назначать цену в зависимости от запасов поставщика.

Это еще не все, в программу можно загружать цены конкурентов, для этого мы можете у нас заказать парсер цен, или в программе есть функция загрузки цен с яндекс-маркета. И вот с этими ценами делать, что угодно. Можно написать свои алгоритмы, любой сложности. За консультациями создания своего ценообразования и реализации, также можете обратится к нам.

И это еще не все. В E-Trade PLI можно задать неограниченное количество дополнительных ценовых колонок, с индивидуальной наценкой или маркетинговым анализом — это может быть и оптовая цена, величина бонуса клиентам, отклонение цены магазина от среднерыночной, разница с определенным конкурентом и т.д.

Возможности поистине громадные и предоставляют размах маркетинговому творчеству.

Экспорт.

Возможности экспорта тоже очень широки. Price List Importer позволяет экспортировать на все известные CMS, причем экспорт идет посредством HTTP-туннеля прямо на сайт (кроме Magento, ShopScript 1.2, osCommerce Vam Edition). Программа не использует прямой доступ к базе, поэтому во время экспорта может создаваться доп. нагрузка на сервер. На выделенных серверах, магазин в 50 000 товаров, обновляется менее минуты.

Есть возможность выгружать в Excel, CSV с выбором своих шаблонов, структурой и любых полей. Также гибкие настройки выгрузки формата YML для прайс-агрегаторов (торговые площадки) и стандартизированный для 1С. Также можно создать сводный прайс-лист, где выводятся поставщики и закупочная цена или же цена конкурента для каждого товара.

Немного дегтя, экспорт не поддерживает многоядерность, и при большом количестве шаблоном, будет делать все последовательно, что занимает прилично времени, особенно YML и для 1С

Производительность.

Тут, увы, не все хорошо. Программа очень ресурсоёмкая и очень сильно зависит от количества товаров. При 20000 товаров она еще очень резвая, после начинается падение скорости. При 50 000 товаров в учетной системе, 100 000 товаров поставщиков программа уже работает очень медленно. При 120 000 работать практически невозможно, начинают сыпаться ошибки. Разработчики сделали уже все возможное, особенно в последний год благодаря моим рекомендациям, программа стала работать заметно лучше, но предел в 100 000 так и остался.Это все связано с языком программирования FoxPro. на котором написана программа. Но могу дать пару советов, которые заметно помогут работе.

1. Вряд ли в магазине более 50 000 товаров одной категории, скорее всего это уже гипермаркет. Создавайте несколько баз. В одной категория — электроника, в другой — спорт-товары, в третьей — дом и сад и т.п. Программа позволяет задавать для каждой базы смещение ID товаров и категорий, поэтому технически сложностей особых нет.
2. Если же по какой-то причине разделить базу не получится, рекомендую отключать все неиспользуемые поля, сортировки.
3. Некоторые операции в программе поддерживают многоядерность, особенно это имеет смысл если у Вас много поставщиков. Также будет полезным 1 гб свободной памяти на каждого пользователя, и отключение файла подкачки.

Если база товаров поставщиков в пределах 40-60 тыс разделать особого смысла нет, но подготовьте мощный компьютер. В первую очень важна шустрая SSD. По процессорам проводил большой тест скорости. Наиболее быстро работает на Core i7, процессоры AMD даже старшей серии, отстают в раза 1.5.

Дополнительные возможности.

Отдельно можно приобрести программу для создания контента E-Trade Content Creator. Программа позволяет парсить контент с некоторых известных магазинов или площадок — яндекс маркет, Никс, Браин, Мерлион, меил ру, хотлайн и др. Список официально поддерживаемых можно посмотреть тут. Иногда попадаются сайты, которых в списке нет, но программа контент забирает. Если подходящих товаров на этих порталов нет, в программе достаточно удобно создавать вручную, или же передавать посредством импорта из прайсов.

Автоматическая обработка прайс-листов.

Данный пункт вынес отдельно, т.к. представляет большой интерес. Добавить и обработать прайс-листы — дело одно, а автоматическое обновление прайсов — задача постоянное. В программе многое учтено для этого

• Встроенный планировщик задач. Позволяет запустить в определенное время, или с каким-то периодом импорт прайса, пересчет цен и экспорт
• Скачивание прайса по ссылки, или автоматически принять файл с электронной почты. Причем можно настроить несколько электронных ящиков, и для каждого поставщика задать свои правила
• Автоматическое обновление курса валют.
• Пакетный экспорт сразу нескольких шаблонов

Данного функционала в большинстве случаев достаточно для автоматического обновления сайта.

Работа тех. поддержки.

Тех поддержка осуществляется бесплатно на протяжении 3 месяцев после покупки. Спустя 3 месяца становится платная или через форум. В принципе 98% проблем через форум решают. В случае какой то ошибки, обновления выпускают очень быстро, бывает в течении часа. Заметил некую неравномерность — то тихо, то активно выходят новые версии с новым функционалом. За месяц обязательно добавится что-то новое в функционале.

Будущее проекта.

Мне удалось пообщаться с руководителем проекта Почерниным Валерием на выставке Ecom Expo 2015 о будущем проекта:

“Ведётся разработка новой версии программы E-Trade PriceList Importer, которая обладает увеличенным быстродействием за счёт использования современных СУБД, к примеру на выбор будут сразу доступны MySQL и PostgreSQL. В новой версии будет изменён подход к загрузке информации, данные будут загружаться по требованию, тем самым в разы снизится нагрузка на систему в целом. В итоге новая версия программы нацелена на обработку больших данных (big data) с минимальными задержками.

Наряду с увеличением скорости обработки данных, будет внедрен интерактивный помощник, который позволит новичку более быстро ознакомиться с возможностями программы и произвести настройку системы под его нужды.

Цель развития проекта — восстановление баланса скорости работы с учётом уже доступного обширного функционала.”

• Что же похоже это именно то, что не хватает этому проекту, но понятное дело, что полностью переписать такой “Photoshop” потребует много время и ресурсов. Надеюсь мне удастся получить первую Beta-версию и протестировать её.

Выводы
Плюсы:

• Самые большие возможности обработки прайсов
• Множество механизмом сравнения одинакового товара от разных поставщиков.
• Возможность задавать шаблоны названия товара
• Гигантские возможности ценообразования
• Продуманный и гибкий экспорт
• Автоматическая обработка прайсов и обновление сайта

 Минусы

• Реальная работа программы возможна, до 100 000 товаров поставщиков. Плохое быстродействие.
• Не весь функционал описан в инструкции.
• Нельзя выводить в меню часто используемые функции, или назначить на них горячие клавиши.
• Труден для самостоятельного изучения, потребуется помощь тех. поддержки или опытных людей.

Мнение эксперта.

Несомненно для меня программы E-Trade наиболее функциональные, за 1.5 года провел автоматизацию  около 20 интернет-магазинов на данном продукте (UPD: данные указаны  на май 2015 года, на начало 2018 года уже за 300 проектов). Неимоверное количество настроек действительно позволяет проявить творчество как техническое, так и маркетинговое. Продукт конечно и не лишен недостатков, есть как крупные — быстродействие, так и мелкие, но которые хорошо знаешь и можно обойти.

Является ли он универсальным? Не совсем. Продукт заточен на автоматизацию, и не под все категории подойдет. (может быть излишним).

Автоматизация интернет-магазина очень серьезный момент, можете обратится к нам, и мы посоветуем наиболее лучшее решение под Ваш проект.