Потоковая загрузка прайс-листов CSV в 1С

Загрузка огромного каталога номенклатуры в 1С

Вчера нам прислали файл CSV c 15 000 000 строк товаров (прайс автозапчастей)!
Это неприлично огромнейший файл который в 1С загружать просто не реально!
Обработка служит для одной цели - она считывает огромный файл и делит его на более мелкие на указанное количество строк (100 000 оптимально).
Скорость деления файла в 15 миллионов строк - 2-3 минуты.
Пока что думаю что с этим делать дальше. Скорее всего в Мегапрайсе появится потоковая загрузка прайса состоящего из десятков файлов.

Пока что этим уже можно пользоваться для ручной загрузки. Для полной автоматики будут обновления, которые позволят лить потоки файлов в рамках одного профиля.

Фильтрация данных потоковой загрузки

Но и это еще не все. Стоит задача не загружать это все в 1С, а выбрать только нужное.
Это значит наложить фильтр еще до начала импорта в 1С. Скрипт должен на уровне файла сделать запросы и в новый файл для 1С выбрать только то что нам нужно.
Сейчас также веду проработку на уровне считывания и деления накладывать фильтры, и получать в 1С только необходимые данные!

Автоматическая потоковая загрузка CSV прайсов в 1С

Внимание! Реализована потоковая загрузка огромных прайсов в CSV формате. 
В профилях прайс-листов поставщиков добавлены две опции - Использовать потоковую загрузку и Максимальное количество строк.

Для огромных прайсов в сотни тысяч или миллионы строк при включении данных опций в начале импорта срабатывает физическое деление огромного файла на множество мелких.
Все они автоматически начинают загружаются Мегапрайсом потоком но с делением на отдельный процесс.
Каждый файл проходит всю процедуру импорта от начала до конца по очереди.
В итоге весь прайс попадает в 1С обработкой по частям!
Рекомендуется делить прайс-листы максимально на 99 999 строк.
Но если хотите можно ставить и меньше, это будет максимально ускорять весь импорт.
Опция подойдет даже тем у кого 20-30-50 тысяч товаров.

В планах улучшения - универсальные фильтры, которые позволят на стадии потоковой загрузки отбирать нужные данные и передавать в 1С сразу только нужное для загрузки! Например когда из всего прайс-листа поставщика вам нужна только определенная категория товаров.

Изменение цен напрямую в файлах

Помимо всего перечисленного модуль может получать при чтении файла колонку с ценой и менять ее по правилам наценок указанных в обработке.
Тем самым мы получим в новых файлах еще и новые цены.
Это может понадобится если обработка вам нужна только для переработки файла, например вы его далее будете загружать не в 1С, а на свой сайт напрямую.

Страница обработки https://subsystems.ru/solutions/parsery-praysov/price-editor-redaktor-prays-listov-csv-v-1s/