Wget. Качаем файлы и целые сайты из интернета.
Всем доброго времени суток. Невозможно представить себе работу с компьютером или мобильным устройством без возможности скачивания из интернета самого разного контента. Книги и музыка, Фильмы и софт, Картинки и многое-многое другое. Скорее трудно представить, Чего бы не скачивали пользователи на свои устройства. В большинстве случаев скачивание происходит напрямую, Через браузер, При этом достаточно лишь кликнуть на ссылку. Но такой способ не всегда удобен и эффективен. Современные браузеры тяжеловесны, ресурсоёмки и защищены сверх всякой меры. Сомнительная ссылка, Ненадёжная с точки зрения чьего-то, Но совсем не вашего мнения, Может просто не открыться, Или скачивание будет заблокировано системой защиты браузера. Для облегчения возможности скачивания существует немало самых разнообразных программ: Торрентклиенты, Мененджеры загрузок,Интегрирующиеся в браузеры, Качалки видео и музыки из соцсетей, А также минималистичные и в то же время функциональные консольные утилиты. Об одной из таких утилит и пойдёт речь.
wget- Кроссплатформенная консольная утилита для скачивания из интернета как отдельных файлов, Так и сайтов целиком, обладающая немалым функционалом. В большинстве дистрибутивов wget присутствует по умолчанию, Но в случае отсутствия её можно легко установить при помощи стандартной команды. Немалым преимуществом данной утилиты является поддержка http, https и ftp.
скачивание отдельных файлов.
Для скачивания файла при помощи wget скопируем в браузере на него ссылку и выполним в терминале: wget и вставим через пробел скопированную ссылку. После нажатия клавиши enter мы услышим сообщения о соединении с сервером и о ходе загрузки, либо же об ошибке или невозможности скачивания. Наиболее распространённым примером является ошибка 404, Означающая, Что файл не найден.
Если нужна авторизация.
Бывают случаи, Когда для скачивания контента нужна авторизация на сайте. Во wget реализована возможность добавления логина и пароля, Используя параметры —user и —passwort. В этом случае команда принимает вид: wget —user=логин —password=пароль ссылка на скачивание. Например: wget —user=qwerty —password=123456 ссылка на скачивание .
Если проблемы с сертификатом безопасности.
Бывает так, Что загрузка файла блокируется из-за ошибки сертификата безопасности, Допустим таковой просрочен. wget позволяет обходить проверку сертификата путём добавления параметра —no-check-certificate . Команда принимает следующий вид: wget —no-check-certificate ссылка на скачивание.
Куда качать будем?
По умолчанию wget скачивает файлы в корень домашней папки. но функционал утилиты позволяет указать место, куда будет происходить загрузка. используем для этого параметр -P и путь к выбранной папке. Например: wget -P ~/Загрузки ссылка на скачивание.
Если загрузка оборвалась.
Мигнул свет, Оборвалось соединение с сетью, Подвис компьютер- И вот загрузка прервалась, А скачано уже больше половины. Качать сначала? Совсем не обязательно, потому что есть замечательный параметр -c . просто вводим команду: wget -c ссылка на скачивание . Если применялись другие параметры, Их нужно ввести снова.
Примечание.
При пользовании утилитой будьте крайне внимательны при вводе параметров. Некоторые ключи обозначаются одной и той же буквой, Отличаясь лишь регистром.
Скачивание сайтов.
Бывают ситуации, Когда нужно скачать сайт целиком, Либо его часть для сохранениялокальной копии, Переноса, Или просмотра без подключения к интернету. Рассмотрим параметры, для этого применяемые. -r Рекурсивный переход по ссылкам. -k Приведение всех ссылок к относительным для локального просмотра. -p Скачивание всех вспомогательных файлов для корректного просмотра страниц: Картинок, Таблиц css, И т.п. -l Глубина уровней вложенности, До которой нужно скачивать. Допустим, -l 5 . Если нужно скачать абсолютно весь сайт, Пишем значение -l 0 . -E Добавляет к скачанным файлам расширение html. -nc Запрещает перезаписывать уже существующие файлы. -e robots=off Заставляет игнорировать инструкции файла robots.txt. Таким образом простейший сценарий скачивания сайта будет выглядить примерно так: wget -r -k -p -E -l 0 ссылка на сайт . Есть ещё несколько дополнительных параметров, могущих пригодиться в частных случаях: -nd не создавать структуру папок сайта, а скачивать все файлы в одну папку. если встречаются файлы с одинаковыми именами, к каждому имени будет добавляться номер. -np Запрещает подниматься выше уровня начала скачивания прирекурсивном переходе по ссылкам. бывает полезен при скачивании нужного раздела или топика на форуме. —restrict-file-names=nocontrol Нужен для скачивания сайтов с русскими буквами в именах, Допустим находящихся в доменной зоне рф .
Заключение.
Это далеко не полный список возможностей этой маленькой, Но мощной утилиты. Надеюсь что статья вам понравилась, А главное была полезной.
Загрузка файлов с помощью Wget
Вы новичок в системе Linux? Вы ищете инструмент командной строки, который поможет вам загружать файлы из Интернета? Если ваш ответ на оба эти вопросы «да», то вы пришли в нужное место, так как в этой статье мы обсудим основы использования утилиты командной строки WGET.
Обратите внимание, что все примеры и указания, упомянутые в этой статье, были протестированы на Ubuntu 16.10.
Wget –это в основном инструмент командной строки, который позволяет неинтерактивную загрузку файлов из Интернета. Неинтерактивный- это значит то, что программа может работать в фоновом режиме, пока пользователь не вошел в систему. Поддерживаемые протоколы включают HTTP, HTTPS и FTP.
Wget также поддерживает извлечение через http-прокси, и «вы можете перейти по ссылкам с HTML, XHTML и CSS на страницы, создавать там локальные версии удаленных веб-узлов, полностью воссоздав структуру каталогов оригинального сайта.»
Как работает Wget?
В следующих разделах описываются основы использования инструмента Wget, а также его особенности.
1. Как скачать файл с помощью wget ?
Файл- инструмент загрузки будет сохранен в текущем рабочем каталоге пользователя. Вот как вы можете использовать wget при скачивании файла:
wget [URL]
Вот пример скриншота:
2. Как возобновить загрузки с помощью Wget?
В случае, если ваши текущие загрузки прервались из-за плохого интернет-соединения или по какой-либо другой причине, вы можете возобновить их, повторив ту же команду еще раз, но с использованием командной строки -с:
wget -c [URL]
Вот пример скриншота (см. вторая команда):
Таким образом, вы можете увидеть, что, когда команда Wget была запущена во второй раз с опцией -c, загрузка началась с того же места, где была остановлена. Эта опция также будет работать, если вы захотите закончить загрузку, начатую в других программах, Wget.
3. Как скачать файл имеющий другое имя?
По умолчанию, Wget сохраняет файл с тем же именем, которое он несет в Интернете. Но если вы хотите, вы также можете сохранить загруженный файл с другим именем. Эта функция осуществляется с помощью команды -O (верхний регистр) параметра командной строки.
$ wget -O [file-name] [URL]
Вот пример скриншота:
4. Как перенаправить wget-вывод в файл журнала?
Если вы хотите, вы также можете перенаправить сообщения/информацию через wget, который выдает вывод на стандартный файл журнала. Это можно сделать с помощью -о (строчной) параметра командной строки.
$ wget -o [log-filename] [URL]
Вот пример снимка:
Как вы можете видеть на скриншоте выше, нет вывода или сообщения отображающихся на стандартный вывод. Это потому, что все сообщения перенаправляются на файл журнала с именем «abc.log».
Вы можете просмотреть лог-файл с помощью команды Cat.
$ cat abc.log
Вот что пишет лог-файл в нашем случае:
5. Как скачать файлы в фоновом режиме с помощью wget
Используя этот инструмент, вы можете качать файлы в фоновом режиме. Загруженный файл будет сохранен с именем ‘wget-log.’. Эта функция доступна с помощью -б параметра командной строки.
$ wget -b [URL]
Обратите внимание, что вы можете изменить имя файла с помощью-o (в Нижнем регистре) как это сделать мы объяснили ранее.
6. Как ограничить скорость загрузки при использовании Wget?
При использовании Wget, вы также можете ограничить скорость загрузки. Это можно сделать с помощью опции -limit-rate, которая требует значения в байтах в секунду. Сумма может быть в байтах, килобайтах с суффиксом«K» или мегабайтах с суффиксом «M».
$ wget –limit-rate=[amount] [URL]
Вот пример, как ограничить скорость загрузки до 50к:
7. Как изменить время чтения команды wget ?
Тайм-аут чтения-это количество времени (в секундах), за которое проверяются данные с использованием wget (в случае не получения данных), прежде чем возобновить загрузку. По умолчанию тайм-аута чтения длится 900 секунд, но вы можете изменить время с помощью чтения-тайм-аут.
$ wget –read-timeout=[time in seconds] [URL]
8. Как изменить количество повторных попыток?
Если загрузка прерывается из — за плохого подключения к Интернету или из-за любой другой ошибки, инструмент пытается возобновить загрузку. По умолчанию, утилит пытается это сделать 20 раз , а затем останавливается. Но если вы хотите увеличить или уменьшить число попыток, вам следует воспользоваться опцией -t командной строки.
$ wget -t [no.-of-retries-you want] [URL]
Как вы видите на скриншоте выше, wget сдался после двух попыток.
Примечание: Эта функция ,за исключением критических ошибок «отказ в соединении» или «не найдено» (404), не повторяется.
9. Как заставить wget отображать отладочную информацию?
Если вы хотите, вы также можете сделать так,чтобы команда wget отображала дополнительную информацию, относящеюся к процессу загрузки. Эта информация полезна для отладки, если инструмент работает неправильно. Функцию можно получить с помощью –debug или -D параметров.
$ wget –debug [URL]
10. Как изменить индикатор выполнения загрузки Wget ?
Если вы хотите, вы также можете изменить индикатор загрузки файла отображающегося в выходных данных. Существует два типа показателей: bar (который по умолчанию) и dot. Тем не менее, если выход не отображается на терминале (TTY), то точка индикатора используется по умолчанию.
Опция —progress позволяет выбрать тип индикатора ,если вы хотите переопределить поведение по умолчанию. Например:
$ wget --progress=dot [URL]
Двигаемся дальше, в зависимости от размера файла, который Вы скачиваете, Вы также можете настроить путь загрузки отображающийся на индикаторе прогресса.
$ wget -–progress=[type]:[parameter]
«type» может быть bar или dot в то время как «параметр» может определятся по умолчанию, двоичный, мега или гига.
Например, если вы хотите установить «type» в качестве dot и двоичный «parameter», то вы можете использовать следующую команду:
$ wget -–progress=dot:binary [URL]
Обратите внимание на то,какой параметр вы выбираете ( двоичный, мега или гига), как правило,это зависит от размера загружаемого файла. Вот что на Man-странице говорит об этих стилях:
В стиле «по умолчанию» каждая точка соответствует 1к, то есть десять точек в кластере и 50 точек в линии. «Бинарный» стиль более компьютезированный как ориентация—8к dots, 16-dots кластеров и 48 dots в строке (для 384 тыс. строк). «Мега» стиль подходит для скачивания больших файлов—каждая точка представляет 64К, существует восемь dots на кластер и 48 dots в каждой строке (так что каждая строка содержит 3М). Если «мега» не достаточно, то вы можете использовать «гига» стиль—каждая dots представляет 1М проверено восемь dots в кластере, и 32 dots в каждой строке (так каждая строка содержит 32М).
Это совсем немного из тех дополнительных опций командной строки,что предлагает wget. Однако, тех, которые мы здесь обсудили, должно быть достаточно. Попробуйте эти, и в случае каких-либо сомнений или запроса, обратитесь к команде Man.
Куда wget сохраняет файлы
Куда же сохранились файлы — подумал я, когда устанавливал WordPress на Ubuntu 14.04. В принципе раньше у меня не было базовых знаний Ubuntu, и вот я скачал архив WordPress и не сразу въехал, где он сохранился.
Загуглив данный аспект я натыкался на «текущий каталог» и «домашнюю директорию». Итак куда wget сохраняет файлы.
[wp-svg-icons icon=»home» wrap=»i»] Итак, wget сохраняет файлы по умолчанию в папку пользователя, которая находится /home/имя пользователя.
Если эта заметка была вам полезна, напишите об этом в комментариях.
Categories Разное Tags wget
unixforum.org
wget — указать локальный каталог для файлов (где и как? (Zenwalk))
Модератор: /dev/random
3 сообщения • Страница 1 из 1
zh0rzh Сообщения: 561 Статус: зх0рзх ОС: Zenwalk, Arch
wget — указать локальный каталог для файлов
Сообщение zh0rzh » 28.10.2007 10:34
Пробую закачать файлы wget`ом — не могу понять, куда ин сохраняет по умолчанию?
Почитал МАНы — стал закачивать с опцией -P/локальный_каталог
Но хотелось бы по умолчанию прописать в настройки каталог и забыть.
Файл .wgetrc в моей системе отсутствует.
Файла /usr/local/etc/wgetrc тоже нет.
Есть файл /etc/wgetrc — но в нём не нашёл ничего такого, где были бы прописаны пути сохранения скачаных файлов/сайтов.
Как их прописать и где?
Gigabyte GA-8PE800; P-IV 2,66GHz Northwood; NVIDIA GeForce FX 5200; HDD: 160Gb+200Gb.
Спасибо сказали:
SpeedHack Сообщения: 116
Re: wget — указать локальный каталог для файлов
Сообщение SpeedHack » 28.10.2007 11:03
Если параметры не указывать, то закачка будет идти в тот каталог, в котором находишься.
cyclon[~]$ wget ya.ru --11:19:37-- http://ya.ru/ => `index.html' Resolving ya.ru. 213.180.204.8 Connecting to ya.ru|213.180.204.8|:80. connected. HTTP request sent, awaiting response. 200 OK Length: 3,175 (3.1K) [text/html] 100%[====================================>] 3,175 --.--K/s 11:19:37 (48.21 KB/s) - `index.html' saved [3175/3175] cyclon[~]$ ls Desktop devel index.html Hed_Kandi_Disco_Heaven_2007.rar downloads VA_-_Stereo_Sushi_Volume_11.rar gallery_5448_2112_28959.jpg cyclon[~]$
Спасибо сказали:
Folderx Сообщения: 296 ОС: fedora, mandriva
Re: wget — указать локальный каталог для файлов
Сообщение Folderx » 28.10.2007 11:26
у меня файл ~/.wgetrc есть, в нём много строк, одна из последних
можно конечно через -P качать, тогда можно прописать алиас для bash в его файле настроек, который тоже у пользователя в каталоге типа вместо wget вставлять wget -P ~/Downloads/Wget/