Как скачать файлы по списку ссылок

я помню те времена когда обновления программ убирали проблемы и исправляли баги, а не добавляли их.
toxID:05AB9B827D896AACEE7FF4573A02FB8F025F46ADC856B98F65BC1BA9BD21A81DC98BA9C36CE3

Как по списку ссылок на картинки скачать и переименовать

Как можно массово по большому списку из прямых ссылок вида: скачать в папку и переименовать сразу под нужное слово, но чтобы при этом сами файлы не перетерлись из-за совпадений названия, т.е. названия файлов получались немного разными? Еще лучше чтобы каждые например 4 фото создавалась новая папка и уже скачивалось туда, т.е. сперва 4 картинки в одну папку, затем 4 картинки в другую папку, затем 4 картинки в след. папку и т.д.?

На сайте с 15.01.2014
26 декабря 2019, 04:03
написать скрипт, который все это зделает
Я вебмастер высшего уровня. Разработка веб-приложений и скриптов. Пишите в телегу.
На сайте с 17.02.2013
27 декабря 2019, 05:18

Через любой Линукс. wget –I url.txt где url.txt файл с ссылками на картинки. Для исключения повторов в название файла можно время скачивания дописывать, если повторы не скоро то проблем не будет. Кстати если повторов не катастрофически много то с помощью экселя или лилбкалка их можно убрать/переименовать если лень с командной строкой или скриптами играться.

На сайте с 03.11.2008
28 декабря 2019, 20:50

cblcg:
Как можно массово по большому списку из прямых ссылок вида: скачать в папку и переименовать сразу под нужное слово, но чтобы при этом сами файлы не перетерлись из-за совпадений названия, т.е. названия файлов получались немного разными?

Массовое скачивание файлов по ссылкам — 3 способа

Необходимость скачать несколько файлов возникает по разным причинам: кто-то хочет загрузить на гаджет несколько мультиков для детей, кому-то нужно обработать большой массив данных по работе. В любом случае, нажимать на каждую ссылку по отдельности и ждать загрузки файла – не рационально. Тем более, что есть несколько способов упростить и оптимизировать эту задачу.

Выбирать тот или иной метод нужно, исходя из ваших навыков работы с кодом и умения создавать алгоритмы. В статье мы рассмотрим 3 самых популярных способа скачивания нескольких файлов по ссылкам: они подходят для тех, кто может написать скрипт самостоятельно, а также для тех, кому требуется максимально простая методика.

1 способ: пакетная загрузка через ZENNOPOSTER

ZennoPoster – это универсальное программное решение, которое часто используют в работе digital-специалисты. За считанные минуты с помощью созданных шаблонов и алгоритмов вы можете автоматизировать любое действие в браузере, в том числе и парсинг ссылок для скачивания. Главный плюс ресурса в том, что вам не нужны специальные навыки для работы – вы можете использовать готовые скрипты и шаблоны от других пользователей либо создать их самостоятельно.

Общая схема работы программы выглядит так:

1. Утилита находит ссылку на файл.
2. Активирует ее.
3. Сохраняет на компьютер.
4. Возвращается к первому пункту.

Чаще всего, если речь идет о скачивании ссылок с одного ресурса, то они имеют статический параметр (например, все начинаются с http://savok.name/uploads/music/), а имя имеет уникальное численное значение. Ниже проиллюстрирована схема проекта.

Сперва мы устанавливаем первое значение переменной, которая возрастает в последующих наименованиях ссылок. В результате скачивание идет с первого файла. Общая схема работы выглядит следующим образом:

1. Ставим первое значение переменной.
2. Получаем ссылки в виде переменных.
3. Выбираем место, куда нужно сохранять файлы.
4. Прописываем GET-запрос в виде: .mp3, где — переменная, имеющая значение в статической части, — значение счетчика, mp3 — расширение файла, которое не меняется.
5. Приходит уведомление о скачивании файла.
6. Значение счетчика увеличиваем на 1.
7. Возвращаемся к первому пункту.

Каждый раз программа обращается к статической части ссылки файла, сохраняет ее, увеличивает значение имени на 1 и переходит к следующему скачиванию. Схема гибкая и подходит для большинства случаев.

2 способ: загрузка через Browser Automation Studio

BAS (Browser Automation Studio) – это один из самых популярных аналогов ZennoPoster, который практически дублирует функционал программы. Разработка создавалась частными лицами, а не большой командой, но от этого функционал не уменьшился. В рамках утилиты пользователь может создавать разные шаблоны для повторяющихся действий, даже если нужно работать на нескольких потоках (доступно до 2000).

Функционал программы включает несколько полезных вещей:

• массовая загрузка файлов;
• смена разрешения;
• создание скриншотов;
• ввод текста;
• запуск скриптов;
• решение капч и другое.

Как и его аналог, программа работает с кодом, создает сложные скрипты для выполнения цепочки действий. Вы можете как написать собственный шаблон, так и приобрести готовые варианты от других пользователей, которые размещены в магазине приложений. Стоимость скрипта для BAS на данный момент от 1000 рублей.

3 способ: скачивание по подготовленному списку с утилитой WGET

Этот способ подходит для тех, кто собрал предварительно перечень всех ссылок с помощью парсера или вручную, но сразу скачать не получилось их по какой-либо причине. Загрузку нескольких файлов производят с помощью утилиты WGET, которая когда-то принадлежала полностью Linux, а сейчас распространяется как свободная программа в интернете.

1. Для начала подготовьте список в следующем формате:

https://site.com/files/file_image_3.jpg и так далее.

1. Сохраните перечень ссылок в текстовом файле.
2. Скачиваем утилиту WGET, распаковываем архив. Она не имеет графического интерфейса, поэтому предварительно нужно прописать в свойствах системы путь к папке, чтобы запустить ее из командной строки.

1. Правой кнопкой мыши нажимаем «Мой компьютер» — «Свойства ПК» — «Свойства системы» — «Дополнительные параметры системы» — «Переменные среды» — «Дополнительные параметры системы».
2. В окне выбираем переменную Path и нажимаем команду «Изменить».
3. Создаем новое значение с путем к папке c:wget. Сохраняем.

Когда мы сделали основные пункты, то открываем консоль командой Win + R, вводим cmd и нажимаем enter.

wget -i c:url-list.txt —secure-protocol=auto -nc -c -P c:files

Остановимся на разборе команды:

• -i — это путь для файла со списком URL для скачивания;
• -secure-protocol=auto — применяем, если на сайте защищенный протокол HTTPS, если же он простой, то эту часть не пишите;
• -nc – проверка на наличие такого файла: если он уже есть в системе, то загрузка его пропустит;
• -c – в случае неполной закачки, она продолжится;
• -P — путь, куда сохраняют данные.

Можно дополнительно добавить команду -x , если важно сохранить структуру как в источнике. Когда команда готова, то остается нажать enter и загрузка пойдет в указанную папку. На экране отображается только ЛОГ операции.

Вывод

На просторах Интернета вы дополнительно можете найти готовые парсеры и приложения, которые предлагают аналогичные услуги для скачивания файлов потоком. Однако большинство из них требуют знания кода и умения составлять скрипты. Хорошая новость в том, что шаблонами могут поделиться опытные пользователи на форумах.

Рациональнее использовать такие конструкторы как ZennoPoster или BAS, а также поработать с парсером и утилитой WGET. Они более понятны для пользователя и в большинстве случаев не требуют навыков кодирования.

А вы пользуетесь сервисами за массовой закачки файлов?
0 голосов