Как скачивать файлы wget BASH
Хочу вам показать как скачивать файлы в линукс. Во всех операционках Linux эта команда выглядит одинаково wget. При помощи неё можно скачивать как файлы, так и целые сайта. Я покажу вам пример скачивания файла. Вы можете менять режимы скачивания при добавлении ключей:
- -с - докачка файла. Очень полезный ключ. Всегда его используйте.
- --progress=dot - графический вид процесса скачивания файла. Есть 2 режима: dot, bar
- -c logfile - будет запись работы в файл. При работе с этим ключом вы не увидите сам процесс в командной строке. Весь процесс будет записан в logfile
- -r --no-parent - рекурсивное скачивание файлов из заданной директории. Из-за ключа --no-parent будет скачивание файлов только из текущей директории. Файлы из родительской директории загружаться не будут.
- -r -A .jpg - фильтр для картинок. Будут рекурсивно скачиваться картики .jpg
#справка по команде wget
man wget
#скачивание файла
wget http://path/file.txt
#включена докачка файла
wget -c http://path/file.txt
#изменен графический вывод работы команды
wget -c --progress=dot http://path/file.txt
wget -c --progress=bar http://path/file.txt
#включено логирование
wget -c -o logfile http://path/file.txt
Обратите внимание на то что у вас должны быть абсолютные пути для скачивания файла. На некоторых серверах может стоять защита от копирования. Этот момент вы должны проверить.
Посмотрите на пример со скачиванием файлов из определенной директории. Благодаря этому способу будут скачаны все файлы из директории. Таким образом вы можете грабить картинки с других сайтов. В итоге будет создано дерево папок и в одной из этих папок будут ваши картинки.
#скачивание файлов из определенной директории
wget -r --no-parent http://path/dir1/
#фильтр для картинок
wget -r -A .jpg http://path/url
Вы можете загрузить все url, указанные в файле file.txt. Сохраните список урлов в файл и укажите после ключа -i ваш файл file.txt
#скачивание url из списка в файле
wget -i file.txt