Загрузка изображений с поисковых сайтов сети Интернет в 1С

Обработки - Обработка справочников

Обработка загрузки изображений из интернета в 1С:Предприятие

    Наполнение справочника Номенклатуры изображениями для обмена с сайтом или формирования прайс-листов - занятие довольное утомительное. Предлагаемые в публикации обработки (для конфигураций Управление торговлей версий 10.3 и 11.(1, 2)) позволят в достаточной степени автоматизировать этот процесс, производя поиск изображений на поисковых интернет-сайтах и, буквально двумя кликами мышью, записывать эти изображения в базу данных.
       Эта обработка - не единственная, реализующая подобный функционал, но от тех, которые видел я, всё же имеет несколько отличий:

  • обработка бесплатна (относительно бесплатна, т. к. $m всё же хоть и виртуальные, но деньги);
  • не использует API поисковых систем, которые зачастую меняют формат интерфейсов или вовсе платные;
  • позволяет выбирать для поиска несколько поисковых систем: Google, Yandex, Rambler, Bing, Поиск@mail.ru;
  • позволяет выбирать размеры загружаемых изображений;
  • позволяет выбирать ориентацию загружаемых изображений (горизонтальная, вертикальная, квадратная) для поисковых систем, у которых эта возможность присутствует.

    Вроде бы зачем так много поисковиков, и одного хватило бы? Несколько поисковых систем необходимы для того, чтобы выбрать оптимальный на время использования обработки поисковый сервер. Часто поисковые системы бывают перегружены запросами, а выбор альтернативной поисковой системы, возможно, избавит от длительного ожидания загрузки.  К тому же, как показала практика, результаты запросов могут достаточно сильно отличаться у разных поисковых систем.

    Опубликованное - не только функционирующие обработки для указанных конфигураций, но и инструмент для тех, кто захочет доработать их или адаптировать под другие конфигурации (Розница, УНФ, КА, УПП, к примеру, или отраслевые решения, имеющие возможность хранения прикрепленных файлов - изображений).

Информация! Если в ходе загрузки индикатор останавливается на каком-то значении и дальнейшая загрузка не происходит или при загрузке загружаются не все изображения, попробуйте изменить значение таймаута на закладке "Настройки".

17/02/2018
    Исправлена ошибка открытия формы обработки на 64-битной платформе "1С:Предприятие".
Обновлены файлы.
Информация! Расширения подключаются корректно только на 32-битной версии платформы.
Обработки открываются на любой версии.

28/12/2017
    Добавлены расширения для конфигураций Управление Торговлей 11.2, 11.3, 11.4 для тех, у кого конфигурация стоит на поддержке. Вызов обработки можно произвести из командного интерфейса основного раздела (Главное /интерфейс "Такси"/, Рабочий стол/обычный интерфейс/) в панели "Дополнительные возможности". Обработку можно также вызвать непосредственно из элемента справочника "Номенклатура".
Примечание: замечена нестабильная работа расширений на платформах версий 8.3.11.х.

11/12/2017

    Добавлена информация о размерах изображения в поле вывода, а также возможность просмотра дополнительных свойств: формат изображения, размер файла изображения (последние 2 скриншота).

27/11/2017

    Добавлена обработка для конфигурации Управление Торговлей 11.4. В этой конфигурации переработан механизм работы с присоединенными файлами.

27/11/2017

    Восстановлен механизм поиска в Google за счет использования встроенного в OS Windows объекта "XMLHttpRequest". Объект загружает страницу, ожидает выполнение на ней скриптов и возвращает исходный код страницы. Дальше анализ содержимого производится методами "1С:Предприятия".

26/10/2017

    Добавлена возможность выбора ориентации изображения для поисковых систем, у которых эта возможность присутствует.
Переработаны алгоритмы анализа полученного от поисковых систем контента в результате чего изображения загружаются в том же порядке,
в котором выводятся на страницах поисковых систем (зависит от используемого web browser'а и его версии).

19/10/2017

Расширен список размеров выбираемых изображений для поисковых систем BING, Поиск@mail.ru.
Для управляемых форм добавлен механизм просмотра изображений вызовом соответствующего пункта контекстного меню.

Обновлены версии обработок, изменена стоимость.

19/04/2016

В связи с тем, что поисковая система Google изменила вёрстку станиц поиска, переведя их на динамическую подгрузку изображений, для указанной поисковой системы стала невозможной загрузка изображений в разных разрешениях (выбор размера изображений оставлен, так как влияет на результаты поиска).
Обновлены версии обработок, изменена стоимость.

09/01/2016

  • Добавлена возможность выбора размера загружаемых изображений для поисковых систем Yandex и Rambler;
  • Добавлен функционал настройки доступа к Интернет. Теперь обработки позволяют обращаться к поисковым системам через прокси-сервер, что немаловажно в том случае, когда поисковый сервер откажет в доступе по причине большого количества поисковых запросов с вашего ip-адреса.

Скачать файлы

Наименование Файл Версия Размер
ЗагрузкаИзображений УТ 10 (обработка)
.epf 33,34Kb
28.12.17
34
.epf 33,34Kb 34 Скачать
ЗагрузкаИзображений УТ 11.1 - 11.3 (обработка)
.epf 35,94Kb
28.12.17
27
.epf 35,94Kb 27 Скачать
ЗагрузкаИзображений УТ 11.4 (обработка)
.epf 35,94Kb
28.12.17
3
.epf 35,94Kb 3 Скачать
Загрузка изображений УТ 11.2 (расширение)
.cfe 139,04Kb
28.12.17
0
.cfe 139,04Kb Скачать
Загрузка изображений УТ 11.3 (расширение)
.cfe 158,61Kb
28.12.17
0
.cfe 158,61Kb Скачать
Загрузка изображений УТ 11.4 (расширение)
.cfe 144,60Kb
28.12.17
0
.cfe 144,60Kb Скачать

См. также

Комментарии
1. Максим Литвинов (maksa2005) 98 13.10.15 19:01 Сейчас в теме
2. Максим Бейлихис (premier) 147 13.10.15 19:29 Сейчас в теме
(1) maksa2005, посмотрите, например, здесь: http://1-sys.ru/index.php/%D0%97%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B0_%D0%BA%­D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BE%D0%BA_%D0%B2_1%D0%A1 или здесь: http://infostart.ru/public/60073/
К сожалению, не смог найти похожую обработку на Инфостарте (была, сейчас не могу найти!) - тоже стоимость от 2000 р.
Я предлагаю вариант, который можно скачать и доработать под свои потребности. И он явно дешевле, чем в приведенных выше обработках. К тому же политика Инфостарт вынуждает завышать цену (-20% при начислении $m, -16% при выводе). Я бы выставил за 5$m (всё же на написание этих обработок тоже времени немало было потрачено). Но ведь 5$m и даже 7 - это не те суммы, которые просят авторы похожих обработок.
3. Alexey Smeshkov (alex_4x) 74 13.10.15 21:37 Сейчас в теме
Видно что сделано с душой :-)
adhocprog; +1 Ответить
4. Максим Бейлихис (premier) 147 14.10.15 06:48 Сейчас в теме
(3) alex_4x, спасибо, я старался.
5. Павел Шведов (pavelvsh) 09.12.15 20:43 Сейчас в теме
Скачал три обработки коллег с ИС - ни одна не ищет изображения. Видимо поменялся алгоритм запросов поисковых систем. Жалко потраченных 9 $m. Тестировал обработки на УТ 10.3.32.2, платформы 8.2, 8.3. Хотя думаю не в платформах и релизе дело. Подскажите, Ваша обработка точно поискоспособна?
6. Максим Бейлихис (premier) 147 10.12.15 14:11 Сейчас в теме
(5) pavelvsh, Скачал три обработки коллег с ИС - ни одна не ищет изображения. Видимо поменялся алгоритм запросов поисковых систем..
Вполне возможно, что дело и не в этом. Посмотрите код обработок, если в них используется объект web-браузер "InternetExplorer.Application" или поле HTMLДокумента, которое, по сути, также является web-браузром, то проблема может быть в настройках безопасности Internet Explorer'а.
Подскажите, Ваша обработка точно поискоспособна?
Моя обработка производит поиск на основе анализа содержимого web-страниц, используя только встроенные механизмы работы платформы 1С с HTTP запросами. К тому же позволяет работать с несколькими поисковыми системами. Мне кажется маловероятным, чтобы все поисковые системы, использованные в обработке, одновременно изменили вёрстку страниц. К тому же я сегодня (см. дату комментария) протестировал обе обработки. Проблем с поиском не выявил.
7. alexey kuklin (neposeda08) 19.01.16 13:24 Сейчас в теме
Есть ли возможность поиска не только картинок для товаров, но их характеристик перед выгрузкой 1с битрих (выгрузка сделана Bitrix). В 1с и в выгрузке bitrix (там есть возможность добавить изображения для характеристик товаров) это не удобно.
8. Максим Бейлихис (premier) 147 21.01.16 16:16 Сейчас в теме
(7) neposeda08, в данной обработке такой возможности нет, да и не предусматривалась она для этих целей. К тому же, для того чтобы перейти к описанию товара, как правило, требуется интерактивное действие: кликнуть по ссылке, например. В моей обработке не используются активные компоненты с web контентом.
Для Ваших целей, возможно, подойдёт другая обработка, которую я нашел на Infostart'е http://infostart.ru/public/88106/.
9. Максим Бейлихис (premier) 147 21.01.16 16:48 Сейчас в теме
(7) neposeda08, а я кстати, не нашел в типовых УТ возможность хранения прикрепленных файлов для характеристик номенклатуры. Может, искал плохо?
10. Вадим Никонов (V.Nikonov) 116 10.03.16 17:26 Сейчас в теме
(9) В типовых этого нет! Допилить не так сложно... (Добавить Владельцем ХранилищеДополнительнойИнформации справочник Характеристики или косвенно связать используя Наименование элемента Хранилище...)
11. Максим Бейлихис (premier) 147 11.03.16 08:53 Сейчас в теме
(10) V.Nikonov, то, что "допилить" не так сложно, я в курсе. В этой публикации предложены обработки для типовых конфигураций. А пользователь в комменте (7), говорит: ему неудобно, что обработка не предназначена для модифицированных конфигураций. Ну, неудобно, пусть и не пользуется.
12. Ziger Zigger (ZIGER666) 2 30.03.16 11:56 Сейчас в теме
При выборе поисковой системы "яндекс" пишет, что картинки не найдены. "По запросу не найдено ни одного изображения!"

УТ 11.1.10.116
Покупал еще и эту обработку http://infostart.ru/public/333026/
Ваша лучше
Спасибо.
adhocprog; +1 Ответить
13. Максим Бейлихис (premier) 147 30.03.16 13:28 Сейчас в теме
(12) ZIGER666, Yandex очень "жадный" поисковик. Если запросы с одного IP адреса поступают достаточно часто, Yandex "банит" этот IP адрес и перенаправляет на страницу с "капчой", на которой, конечно же, картинок нет.
Попробуйте задать в настройках прокси сервер. Правда, всё равно скоро получите "бан", но прокси серверов достаточно много. Не думаю, что все они в "черном" списке Yandex'а.
14. Максим Бейлихис (premier) 147 30.03.16 13:31 Сейчас в теме
(12) ZIGER666, я, кстати, заметил, что Yandex и Rambler выдают практически одинаковый результат, но Rambler не такой "жадный".
ZIGER666; +1 Ответить
15. Ziger Zigger (ZIGER666) 2 30.03.16 13:56 Сейчас в теме
16. theRO theRO (theRO) 27.07.16 07:56 Сейчас в теме
На КА 1.1 и КА 2.0 работает?
17. Максим Бейлихис (premier) 147 28.07.16 17:30 Сейчас в теме
(16) theRO, не проверял. В КА 1.1 должно работать, в КА 2.0 - не знаю
18. theRO theRO (theRO) 28.07.16 18:39 Сейчас в теме
(17) не могли бы уточнить - это критично для приобретения
19. Максим Бейлихис (premier) 147 29.07.16 16:24 Сейчас в теме
(18) theRO, обработка для УТ 10.3 точно подходит для КА 1.1. Дистрибутива с КА 2.0, к сожалению, не имеется - проверить не могу.
20. Александр П. (tiniji) 149 22.08.16 07:55 Сейчас в теме
На УПП 1.3 работает. Нужен был yandex.
21. Михаил Агафонов (Aquashop) 25 06.09.16 13:29 Сейчас в теме
1С:Предприятие 8.3 (8.3.8.1784) Управление торговлей, редакция 11.2 (11.2.3.177) полная версия работает корректно только нужно заменить = ОбщегоНазначения.ПолучитьЗначениеРеквизита(СсылкаНаОбъект, ИмяРеквизита); на ОбщегоНазначения.ПолучитьЗначениеРеквизитаОбъекта(СсылкаНаОбъект, ИмяРеквизита);
22. Максим Бейлихис (premier) 147 06.09.16 16:24 Сейчас в теме
(21) Aquashop, это видимо в "тонком клиенте". В нём я не отлаживал. Спасибо за информацию об ошибке. Будет время, напишу обработку по "тонкого клиента".
23. Максим Бейлихис (premier) 147 06.09.16 17:07 Сейчас в теме
(21) Aquashop, не в тонком клиенте дело, а в конфигурации.
Кстати, в УТ 11.2 нет в общем модуле функции ОбщегоНазначения.ПолучитьЗначениеРеквизитаОбъекта(СсылкаНаОбъект, ИмяРеквизита);
Заменил на Возврат СсылкаНаОбъект[ИмяРеквизита]; и всё заработало.
24. Виктор (user708950_sportvkirzhache) 22.07.17 21:16 Сейчас в теме
25. Максим Бейлихис (premier) 147 25.07.17 07:59 Сейчас в теме
(24) Должно работать, не проверял. Не должно там что-то существенно поменяться по сравнению с УТ 11.2.
26. Виктор (user708950_sportvkirzhache) 04.08.17 23:17 Сейчас в теме
Только зря купил, для 11.3 не подходит - даже не загружается, прошу исправить
27. Максим Бейлихис (premier) 147 07.08.17 08:14 Сейчас в теме
(26) А я и не говорил, что в УТ 11.3 работать будет. У меня, когда я эту обработку писал, была только УТ 11.1. Не знаю, что-то, может, поменяли в УТ 11.3. А может, на сайтах что-то поменяли. Вот google верстку страниц поменял, пришлось стоимость обработки снизить. С каких сайтов не загружается?
28. Максим Бейлихис (premier) 147 27.11.17 11:36 Сейчас в теме
(26) Только что установил конфигурацию 11.3.2.157. Всё прекрасно работает. Возможно, в более "свежих" релизах изменили механизм работы с прикрепленными файлами. В этом случае должна подойти обработка для конфигурации версии 11.4.
29. Станислав Солопаев (softbolt) 14.02.18 13:51 Сейчас в теме
Приобрёл обработку и в итоге что увидел
-2147221164(0х80040154): Класс не зарегистрирован
И что мне теперь делать?
Управление торговлей, редакция 11 (11.4.1.248)
Прикрепленные файлы:
30. Максим Бейлихис (premier) 147 14.02.18 16:06 Сейчас в теме
(29) На скриншоте видно, что обработка называется "Загрузка изображений в номенклатуру из excel". Мою ли обработку Вы пытаетесь открыть?
31. Станислав Солопаев (softbolt) 14.02.18 16:24 Сейчас в теме
(30) на скриншоте видно, что у меня есть не только ваша обработка, а ваша как раз таки выделена
32. Максим Бейлихис (premier) 147 14.02.18 16:32 Сейчас в теме
(31) Тогда напишите в каком окружении и режимах запускаете: версия ОС, клиент 1С: Предприятия, версия платформы 1С: Предприятия.
В обработке используются COM объекты, встроенные в операционную систему Windows и, в целях обратной совместимости, мигрируют во все новые версии операционной системы.
33. Станислав Солопаев (softbolt) 14.02.18 16:40 Сейчас в теме
1С:Предприятие 8.3 (8.3.10.2505)
Управление торговлей, редакция 11 (11.4.1.248)
Режим: серверная (Ubuntu 17 + PostgreSQL)
Клиент: Тонкий клиент (Windows 10 Pro)
34. Максим Бейлихис (premier) 147 16.02.18 16:22 Сейчас в теме
(33) Вероятно, Вы использовали 1С:Предприятие (64-bit) для Windows. В обработке используется объект MSScriptControl.ScriptControl, который реализован, насколько я знаю только в 32-битном варианте. Вот его и не смог загрузить 64-битный процесс. Постараюсь в ближайшее время заменить функции, использующие этот объект на нативный 1С код. Вам я выслал исправленную обработку на e-mail.
Оставьте свое сообщение