Меню

Сабсистемс Сабсистемс Мегапрайс Мегапрайс Разработки Разработки Отзывы Отзывы Информация Информация Новости Новости Помощь по 1С! Помощь по 1С!
Регистрация Войти
Страницы: 1
Ответить
RSS
Тесты скорости работы
 
Такс.... Скайп переполнен. Работаю третью неделю как три года не работал)
14 часов в день. Еще и канал на ютуб открыл - тренируюсь ораторскому искусству.
Видео раньше не делал - просто не могу выдержать со своими кривыми словечками и так далее.
Да и сейчас мучительно - бывает только с двадцатого раза видео получится снять.

ИНФО вагон - для рассказов обо всех модулях, ситуациях, применению и функционале.

А тут еще и прорвало весь мегапрайс переписать - давно все ждали автозагрузку в 1С из EXCEL, только в этом году для УТ11 взялся делать - потому что постоянно вносились изменения. Но вот взял и СДЕЛАЛ. И тут же кинулся оптимизировать скорость работы.
Много клиентов обратилось, много было запросов. И дело ПОШЛО.

В теме обновлений по 2-3 сообщения в день. Снимаю также ролики с изменениями. 300-500 раз в день гружу прайсы - скорость, четкость, глобальные изменения.
И уже вот даже десяток храбрецов клиентов со мной в бой пошло)) Некоторые до 23 часов со мной грузят свои прайсы и сообщают результаты тестов. У всех то все по разному - у кого то 10 тысяч, у других 50-100-650 тысяч товаров. Вот кому надо 650 - спасибо отделное! Можно сказать на вас работаю))
Так как 10-20 просто уже семочки. 10-20 секунд и все готово от А до Я.

В общем завел тему - чтобы все отзывы со скайпа не пропали ДАРОМ!
Если есть кому что написать от новой версии и результатов - пишите сюда.

Я эту тему потом добавлю в основное описание программы в самом верху. Нужно чтобы были и новые клиенты) Я не беру денег за индивидуальную работу, а сам сел и начал решать все ваши задачи. Всем у кого есть Мегапрайс - все обновления как и заявлено бесплатны) Ну в рамках прилий - 1 год )))) Вот кстати люди покупают обновления уже радует)

В общем пишите сюда - желательно чтобы это было нечто показателей "например, раньше грузили столько то товаров и занимало время, а сейчас вот столько то времени"
 
Евгений, судя по теме и по тексту это про работу крайний двух дней со мной
Спасибо
Итак всего понемногу
В компании происходят регулярные загрузки информации об остатках и ценах поставщиков примерно на 40-50 тысяч позиций
Но, исторически, всё это должно грузится не в документы/регистры, а в дополнительные реквизиты номенклатуры
Ранее все происходило в переписанную УТ 10.3 , и в принципе, шло на УРА, проливка такой комбинации 3 реквизита на 40000 позиций занимала от 40 минут до 1,5 часа
Далее настал долгожданный момент перехода на УТ 11.2 , и вот он -  крах , процедура стала занимать от 5 часов, днём ещё медленнее

В ходе предварительного анализа были обнаружены первичные проблемы таких зависаний, а именно версионирование объектов, и наличие 4 активных планов обмена

Остальное сделал Евгений, не знаю как ,но сделал

Сегодня днём загрузка файла в 44000 заняла чуть больше 40 минут  :) , может это конечно и много , но результат, или точнее результатуще
 
Да тут про всех) Я уже среди всех запутался.
44 минуты? да ну. Это нереально. Наверное вы другой кто-то)
У меня три клиента сейчас с прайсами в 50 тысяч. Счет идет на минуты. До 10 тысяч вообще о секундах говорим.

Или вы тот у кого остатки в свойства?)) Если да то это тяжелый случай) и я вам говорил почему))) У вас как раз просто загрука, без мегапрайса. И вы пытаетесь наладить учет через свойства) Как раз вот показательный случай ПОЧЕМУ этого делать НЕЛЬЗЯ!
Итак рассказываю

1) Дополнительные свойства номенклатуры являются фактически табличной частью Номенклатуры. Реально ТАБЛИЧНОЙ - хотя все в УТ11 видят закладку - в которой есть отдельные поля. По факту то что вам форма показывает - ерунда. Это такая же табличная часть как в документах! А это просто пипец в 1С.
Это не сверхбыстрые регистры, и даже не просто реквизит прямой.

2) Что тут происходит - в этой табличной части живут все свойства и значения. Причем у подавляющего большинства ВАГОН этих свойств - отвечающие за разхные характеристики товара. Все это обычно используется для сайта чтобы по товары было видно краткое описание из свойств. отборы и прочее

3) Следующие грабли. Свойства не имеют конкретного ТИПА значения. Там может быть что угодно - числа, строки, любые справочники, а по умолчанию справочник ЗначенияСвойствОбьектов. Запросы к полям которые имеют множественный тип - самые тормознутые в 1С

Теперь предметно.

У вас 3 поставщика. Они присылают остатки. Ок есть свойство. Как в одном свойстве отобразить три разных остатка поставщика. у двух есть, у третьего нет товара.
- Никак!
А еще у вас 50 000 товаров, наверняка раз в неделю плюс-минус 500 позиций выпадают или приходят.

Но вот вы в прошлый раз загрузили 100 000 свойства (у вас их два там вроде было) на 50 000 товаров. Но в новом прайсе 49 000. Как вы очистите свойство с остатком которых уже нет в этом прайсе - никак. Ведь данных по этим позициям нет в нем, а в базе они есть.


ГЛАВНОЕ - обновление и поиск. Одно дело найти номенклатуру - и совершенно другое перелопатить табличную часть этой номенклатуры (не регистр) - а самое тормозное что только есть в 1С - никак! Еще главное что помимо этих свойств там могут быть вполне нормальные свойства описывающие товар.
И вы пытаетесь через самый наихудший вариант (который кстати уже лет 10 назад кто то недалекий придумал - использовать свойства)

Это все равно что утром днем и вечером перекапывать огород. Перезапись любого свойства в 1С ТРЕБУЕТ получение ОБЪЕКТА номенклатуры, изменения и снова запись.
Вы по сути Номенклатуру без перерыва кошмарите, и не ПРОСТО ее, а табличную часть.

Почему загрузка свойств может быть долгой и в обычном режиме. Значения могут повторятся у товаров. Причем когда мы создаем номенклатуру - 1 строка это 1 товар (уникальная). В случае свойств имеем 50 000 значений. НО допустим в строках 100-200 и 500 будет одно значение.
Это значит что нам неведомо есть будут ли значения уникальными у всех строк или повторяющимися у произвольного количества. Поэтому программа на каждой строке должна не создавать а проверять что свойство уже существует. После создания каждого свойства, у следующей строки идет проверка а были такое значение уже создано в предидущих строках.

Переходите на Мегапрайс ПРО и будет вам счастье.

А ДОП РЕКВИЗИТЫ должны использоваться ИСКЛЮЧИТЕЛЬНО по назначению, и обработка была оптимизирована в новой версии кстати - выдает теперь только список отсутствующих или измененных свойств, у меня по крайней мере на тесте в 6 000 строк - с двумя свойствами работает все несколько СЕКУНД.
Ну а насчет 44 минуты - даже с учетом совершенно кривой постановки задачи - ПЕРЕБОР! Обработка такой обьем со свойствами сейчас должна делать до 4 минут (с учетом того что идет перезапись номенклатуры с обработкой табличной части) это еще хуще чем создавать 50 000 новых товаров. Там хотя бы просто запись идет, а тут еще из базы надо вытянуть живой обьект.
Еще в начале неделе у нас клиент 50 000 товаров загружал чтобы обновить у себя изменения - у него вышло 14 позиций! Он нажал и не поверил - думал ошибка какая то)  
 
Отправляю скрин. Сейчас специально создал свойство которого не было
Настроил - загрузил и вот из журнала сообщений.
Это изменение табличной части номенклатуры со свойствами.
Сейчас еще конечно замеры посмотрю - думаю там еще есть что оптимизировать раза в три.


Посмотрел отладчик
20 процентов времени занимает строка - получить номенклатуру-обьект для изменения.
15 процентов просто перезапись этих обьектов.
20 какие то типовые вызовы с проверкой - надо разобраться.
10 запись новых свойств.
3 - проверка на существование свойства у каждой новой строки.
Вес остальное по 1 проценту - обычный код

Вот по сути результаты. На основании которых можно сказать - свойства для ПОСТОЯННОГО изменения трогать нельзя.
 
Тестовая загрузка на 99 999 строк. С полной синхронизацией и регистрацией (записью в 1С)

Между синхронизацией и регистрацией промежуток - просто не обращал внимания свернутое окно - думал еще загружает.
Итого как мы тут видим заполнение таблиц по 20-30 секунд
СИНХРОНИЗАЦИЯ полная 20 секунд.
И полная запись в базу (с очисткой предидущих данных - оно тоже время занимает)  3 минуты

Завтра еще доработаем - огромные прайсы будут бится на пакеты и все пакеты будут грузится одинаково без  зависимости от увеличения таблицы - те можно грузить хоть миллиард строк. Будет загружатся одинаковыми партиями с одинаковой скоростью.


 
 
Цитата
Евгений написал:
Отправляю скрин. Сейчас специально создал свойство которого не было
Настроил - загрузил и вот из журнала сообщений.
Это изменение табличной части номенклатуры со свойствами.
Сейчас еще конечно замеры посмотрю - думаю там еще есть что оптимизировать раза в три.

а вот мой скрин на операцию синхронизации номенклатуры 43 339 товаров
http://prntscr.com/ergsju
Вот по журналу сама синхронизация прошла за 4 секунды , на экране саму таблицу я увидел только в 13=44 , где она была 11 минут?
Изменено: Сергей Клевин - 02.04.2017 13:49:45
 
Хм. Ветка с отзывами превращается в технические вопросы)))
Я вас жду в скайпе) так как в прошлый раз уже было поздно и мы перенесли общение.
Давайте подключаться и смотреть.
Учитывая что за последние дни изменения происходили каждый час у вас уже может быть не актуальная версия)

Вчера я загрузки делал на 100 000 за полторы минуты в том числе в ручном режиме. в полном цикле даже уже с регистрацией в базу и живое видео есть)
Заполнялось 100 000 товаров с отображением.

У вас надо проверить ситуацию. По идее после синхронизации в ручном режиме идет заполнение таблицы - но это как правило происходит мгновенно.
Сообщения точно у меня стоят на начале и конце процессов. А вот отображение с сервера на клиент это передача готовой таблицы на отображение. Это 2-3 процента погрешности.
При этом обработка уже ничего не делает. Ничего не выполняет, не обрабатывает. Сервер передает таблицу в форму.
Давайте проверим - могу добавить сообщение в журнал на эту передачу. Если у вас покажет эти сообщения - то тут уже от нас мало что зависит. Это автоматический процесс в 1С который не подлежит программированию. Максимально что можно сделать - это полностью перейти на автоматический процесс с роботом, без визуальной работы с данными. Или ограниченными данными для показа.
 
В общем добавил два сообщения в обработку - которые сообщают о начале и завершении передачи данных с сервера в форму обработки для визуального отображения.
Сумма всех сообщений теперь является наиболее точной.


Я надеюсь вы не в облаках работаете? с таким обьемом? Потому что если в облаках - либо сервер через интернет где то.
То вот эта передача данных от сервера к вам на форму - и есть эти затраты.
В этом варианте я могу сказать одно - мы тут никак не повлияем - как я писал 1С это не регулирует - если надо всю таблицу показать.

Тут или полный отказ от визуального режима, либо ограничение передаваемых данных для показа. Например 500-5000 строк.
Тут только начальная настройка в визуальном режиме - с опциями - и полная работа а автоматическом режиме.
Либо я могу конечно переработать весь импорт, но только в рамках Мегапрайса ПРО.
Так как я уже сделал вчера регистрацию в 1С - мы можем на клиенте отображать динамический список регистра.
Этот шаг возможен только с мегапрайсом. И да он реально сможет показывать любой обьем информации.
Такой вариант подойдет тем что хочет все данные видеть. И работает например в облаках.

1С так хитро устроена. Если мы обращаемся к записанным данным в 1С - на клиенте все показывается - но все что вы видите это прорисовка экрана - можно листать что угодно. Типа прожектора.
А вот когда вы работаете с несуществующими данными вживую и хотите их видеть - то тут увы эти данные фактически перекачиваются.
Загрузка - это данные которых в 1С не существует (ну кроме отдельных колонок с ссылками).
Их или надо сразу записывать и дальше уже работать и передавать команды на сервер.
Поэтому в Мегапрайс ПРО мы и уходим от этого имея свои таблицы в базе 1С) и получаем больше функционал, скорость и так далее.

Я думаю через неделю в Мегапрайсе будут добавлена новая форма работы с загруженными прайсами.
Страницы: 1
Ответить
Читают тему
Форма ответов
 
Текст сообщения*
Загрузить файл или картинкуПеретащить с помощью Drag'n'drop
Перетащите файлы
Ничего не найдено
Загрузить картинки
Отправить Отменить