GNU Wget - это пакет свободного программного обеспечения для получения файлов с помощью HTTP, HTTPS, FTP и FTPS.
Создание локальной копии сайта
Для создание локальной копии сайта wget имеет встроенный функционал рекурсивного обхода и преобразования ссылок.
1 | wget -r -l5 -k http://example.com/ |
-r - рекурсивный обход ссылок
-l5 - глубина обхода, в данном примере до 5 уровня.
-k -преобразование ссылок в локальные.
Полезные примеры использования wget
Скачать файл в текущий каталог
1 | wget http://example.com/file.dat |
Указать каталог для скачивания файла
1 | wget -P /home http://example.com/file.dat |
Скачать все файлы по ссылкам из файла
1 | wget -i /home/user/url.list |
Авторизация пр скачивании ftp
1 | wget --user=<login> --password=<password> ftp://example.com/file.dat |
Скачать файл в фоне
1 | wget -b http://example.com/file.dat |
Докачка файла
1 | wget -c http://example.com/file.dat |
Игнорировать проверку сертификата при скачивании
При использовании само подписанных сертификатов на сайте
1 | wget https://example.com/file.dat --no-check-certificate |