curl 命令

curl命令是基于URL语法，在命令行下工作的传输工具，支持多种协议，比如FTP,HTTP,HTTPS

 

 

 1.curl命令保存网页元素
curl  baidu.com > index.html

2.利用参数，直接保存网页

-o ，指定保存文件的名字

curl -o /tmp/test.html   www.baidu.com

3.测试网页是否存活

 

 

 curl -o /dev/null -s -w %{http_code}  www.baidu.com  

echo $?  #查看上一条命令是否正确执行，为0表示正确，非0 不正确

4.利用curl保存网页的cookie

curl -o /dev/null -s -c ./mycookie.txt www.baidu.com

5.利用curl命令，进行身份伪装，分别获取移动端页面，和pc页面

准备一个伪装的user-agent信息

pc端

user-agent:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36

移动端

user-agent:

Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1

 

伪装pc端发信息

curl -A "Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1"  www.luffycity.com

6.利用curl下载资源

-O 大写的，直接保存站点内容

curl -O   https://img0.baidu.com/it/u=227017894,1191595832&fm=26&fmt=auto&gp=0.jpg