博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
用wget下载整个网站
阅读量:5914 次
发布时间:2019-06-19

本文共 1213 字,大约阅读时间需要 4 分钟。

  hot3.png

下载指定目录

$ wget -c -r -nd -np -k -L -p -A c,h www.xxx.com/doc/path/

  • -c 断点续传
  • -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
  • -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
  • -np 递归下载时不搜索上层目录。
  • -k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
  • -L 递归时不进入其它主机,如wget -c -r www.xxx.com/ 如果网站内有一个这样的链接: www.yyy.com,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.com网站
  • -p 下载网页所需的所有文件,如图片等
  • -A 指定要下载的文件样式列表,多个样式用逗号分隔

下载有索引目录

wget -m http: //www.xxx.com/dir/ 这个最强力了!前提是目录必须是索引目录!

下载整个网站

wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r -p -k -nc http://www.xxx.com

  • -U 修改agent,伪装成firefox等浏览器,当某些网站拒绝下载的时候,加上这个参数就可以下载了。

  • -p 下载页面显示所需的所有文件。## 下载指定目录 $ wget -c -r -nd -np -k -L -p -A c,h www.xxx.com/doc/path/

  • -c 断点续传

  • -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件

  • -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录

  • -np 递归下载时不搜索上层目录。

  • -k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数

  • -L 递归时不进入其它主机,如wget -c -r www.xxx.com/ 如果网站内有一个这样的链接: www.yyy.com,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.com网站

  • -p 下载网页所需的所有文件,如图片等

  • -A 指定要下载的文件样式列表,多个样式用逗号分隔

下载有索引目录

wget -m http: //www.xxx.com/dir/ 这个最强力了!前提是目录必须是索引目录!

下载整个网站

wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r -p -k -nc http://www.xxx.com

  • -U 修改agent,伪装成firefox等浏览器,当某些网站拒绝下载的时候,加上这个参数就可以下载了。
  • -p 下载页面显示所需的所有文件。

转载于:https://my.oschina.net/hoolev/blog/470394

你可能感兴趣的文章
MURA120T3G
查看>>
Spring Cloud与Kubernetes的集成
查看>>
NEO智能合约调试流程说明
查看>>
PHP 表单 - 必需字段
查看>>
Ember官网文档整理
查看>>
MarkDown使用
查看>>
安装成功的nginx如何添加未编译安装模块
查看>>
Vim命令合集
查看>>
Sublime2下比较好用的插件
查看>>
OSChina 周一乱弹 —— 程序猿到底是干嘛的?
查看>>
OSChina 周五乱弹 ——大家好,我叫风油米青
查看>>
nginx 基本配置
查看>>
证明:实对称矩阵中,属于不同特征值的特征向量相互正交
查看>>
解决 IntelliJ IDEA properties中文显示问题
查看>>
如果决定安装xshell 麻烦或者项目部署麻烦,那么就用JSch 吧,开源自己编写你想要的功能...
查看>>
推荐MySQL的国外blog
查看>>
The Blocks Problem
查看>>
dreamweaver 的学习 【基础知识】1
查看>>
ACM中 memcpy 较 strcpy的优势
查看>>
Oracle 创建用户并分配表空间、权限
查看>>