Fork me on GitHub

wget获取整站

wget -m -e robots=off https://www.baidu.com
-m是克隆整个网站,-e robots=off是让wget忽视robots.txt

如果网站有中文路径,最好用以下命令

wget -r -p -np -k --restrict-file-names=nocontrol http://www.baidu.com

转自:http://blog.lanyus.com/archives/38.html

posted @ 2016-07-12 23:23  _落雨  阅读(760)  评论(0编辑  收藏  举报