Оформите заявку на сайте, мы свяжемся с вами в ближайшее
время и ответим на все интересующие вопросы.
Загрузка огромного каталога номенклатуры в 1С
Вчера нам прислали файл CSV c 15 000 000 строк товаров (прайс автозапчастей)!
Это неприлично огромнейший файл который в 1С загружать просто не реально!
Обработка служит для одной цели - она считывает огромный файл и делит его на более мелкие на указанное количество строк (100 000 оптимально).
Скорость деления файла в 15 миллионов строк - 2-3 минуты.
Пока что думаю что с этим делать дальше. Скорее всего в Мегапрайсе появится потоковая загрузка прайса состоящего из десятков файлов.
Пока что этим уже можно пользоваться для ручной загрузки. Для полной автоматики будут обновления, которые позволят лить потоки файлов в рамках одного профиля.
Фильтрация данных потоковой загрузки
Но и это еще не все. Стоит задача не загружать это все в 1С, а выбрать только нужное.
Это значит наложить фильтр еще до начала импорта в 1С. Скрипт должен на уровне файла сделать запросы и в новый файл для 1С выбрать только то что нам нужно.
Сейчас также веду проработку на уровне считывания и деления накладывать фильтры, и получать в 1С только необходимые данные!
Автоматическая потоковая загрузка CSV прайсов в 1С
Внимание! Реализована потоковая загрузка огромных прайсов в CSV формате.В профилях прайс-листов поставщиков добавлены две опции - Использовать потоковую загрузку и Максимальное количество строк.
Для огромных прайсов в сотни тысяч или миллионы строк при включении данных опций в начале импорта срабатывает физическое деление огромного файла на множество мелких.
Все они автоматически начинают загружаются Мегапрайсом потоком но с делением на отдельный процесс.
Каждый файл проходит всю процедуру импорта от начала до конца по очереди.
В итоге весь прайс попадает в 1С обработкой по частям!
Рекомендуется делить прайс-листы максимально на 99 999 строк.
Но если хотите можно ставить и меньше, это будет максимально ускорять весь импорт.
Опция подойдет даже тем у кого 20-30-50 тысяч товаров.
В планах улучшения - универсальные фильтры, которые позволят на стадии потоковой загрузки отбирать нужные данные и передавать в 1С сразу только нужное для загрузки! Например когда из всего прайс-листа поставщика вам нужна только определенная категория товаров.
Изменение цен напрямую в файлах
Помимо всего перечисленного модуль может получать при чтении файла колонку с ценой и менять ее по правилам наценок указанных в обработке.Тем самым мы получим в новых файлах еще и новые цены.
Это может понадобится если обработка вам нужна только для переработки файла, например вы его далее будете загружать не в 1С, а на свой сайт напрямую.
Страница обработки https://subsystems.ru/solutions/parsery-praysov/razdelenie-faylov-csv/