用wget命令的爬虫功能抓取网页到本地文件

经常需要到网上下载一些模板,但是大部分网站下载要登录,有的还要积分。

用wget就可以很方便的把模板演示页抓取下来

wget -c -r -npH -k https://www.erdangjiade.com/modals/40/4086/demo/
  • 参数说明

-c:断点续传
-r:递归下载
-np:递归下载时不搜索上层目录
-nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中
-p:下载网页所需要的所有文件(图片,样式,js文件等)
-H:当递归时是转到外部主机下载图片或链接
-k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了

posted @ 2018-05-23 18:34  七月吃瓜  阅读(2461)  评论(0)    收藏  举报