curl及wget使用说明
Date: 2019-06-19
Author: Sun
1. curl的使用
注意：安装的时候可能会遇到报错，有可能是openssl没装，
apt install curl
apt install openssl
apt install openssl-dev
一些常用参数的用法
| 参数 | 说明 | 示例 |
|---|---|---|
| -A | 设置user-agent | curl -A "Chrome" http://www.baidu.com |
| -X | 用指定方法请求 | curl -X POST http://httpbin.org/post |
| -I | 只返回请求的头信息 | |
| -d | 以POST方法请求url，并发送相应的参数 | -d a=1 -d b=2 -d c=3 -d "a=1&b=2&c=3" -d @filename |
| -O | 下载文件并以远程的文件名保存 | |
| -o | 下载文件并以指定的文件名保存 | curl -o fox.jpeg http://httpbin.org/image/jpeg |
| -L | 跟随重定向请求 | curl -IL https://baidu.com |
| -H | 设置头信息 | curl -o image.webp -H "accept:image/webp" http://httpbin.org/image |
| -k | 允许发起不安全的SSL请求 | |
| -b | 设置cookies | curl -b a=test http://httpbin.org/cookies |
| -s | 不显示其他无关信息 | |
| -v | 显示连接过程中的所有信息 |
自定义一个命令，查看本机外网IP
alias myip="curl http://httpbin.org/get|grep -E '\d+'|grep -v User-Agent|cut -d '\"' -f4"
2 wget使用
wget是linux上的命令行的下载工具。这是一个GPL许可证下的自由软件。wget支持HTTP和FTP协议，支持代理服务器和断点续传功能
安装：
apt install wget
参数说明
$ wget --help
| A | B | C |
|---|---|---|
| -O | 以指定文件名保存下载的文件 | wget -O test.png http://httpbin.org/image/png |
| --limit-rate | 以指定的速度下载目标文件 | --limit-rate=200k |
| -c | 断点续传 | |
| -b | 后台下载 | |
| -U | 设置User-Agent | |
| --mirror | 镜像某个目标网站 | |
| -p | 下载页面中的所有相关资源 | |
| -r | 递归下载所有网页中所有的链接 |
# 镜像下载整个网站并保存到本地
wget -c --mirror -U "Mozilla" -p --convert-links http://docs.python-requests.org
实例
(1) 下载192.168.1.168首页并且显示下载信息
wget -d http://192.168.1.168
(2) 下载192.168.1.168首页并且不显示任何信息
wget -q http://192.168.1.168
(3) 批量下载的情形，把所有需要下载文件的地址放到 filename.txt 中，然后 wget 就会自动为你下载所有文件了。
wget -i filelist.txt
(4) 断点续传
wget -c http://example.com/really-big-file.iso
3. httpie
httpie是一个 HTTP 的命令行客户端，目标是让 CLI 和 web 服务之间的交互尽可能的人性化。这个工具提供了简洁的 http 命令，允许通过自然的语法发送任意 HTTP 请求数据，展示色彩化的输出。HTTPie 可用于与 HTTP 服务器做测试、调试和常规交互。
apt install httpie #ubuntu
pip install httpie
yum install httpie #centos
httpie 帮助
# http
usage: http [--json] [--form] [--pretty {all,colors,format,none}]
[--style STYLE] [--print WHAT] [--headers] [--body] [--verbose]
[--all] [--history-print WHAT] [--stream] [--output FILE]
[--download] [--continue]
[--session SESSION_NAME_OR_PATH | --session-read-only SESSION_NAME_OR_PATH]
[--auth USER[:PASS]] [--auth-type {basic,digest}]
[--proxy PROTOCOL:PROXY_URL] [--follow]
[--max-redirects MAX_REDIRECTS] [--timeout SECONDS]
[--check-status] [--verify VERIFY]
[--ssl {ssl2.3,ssl3,tls1,tls1.1,tls1.2}] [--cert CERT]
[--cert-key CERT_KEY] [--ignore-stdin] [--help] [--version]
[--traceback] [--default-scheme DEFAULT_SCHEME] [--debug]
[METHOD] URL [REQUEST_ITEM [REQUEST_ITEM ...]]
http: error: the following arguments are required: URL
httpie 示例
1）请求 mimvp.com（米扑科技）
请求： http mimvp.com
结果： 返回有状态头200和网页正文
2）仅返回文件头header
请求： http -h proxy.mimvp.com
3）表单请求登录
请求： http --form POST proxy.mimvp.com username='mimvp-user' password='mimvp-pwd'
# 只显示Body
http -b mimvp.com
http --body mimvp.com
4）设置代理请求
请求：
http --proxy=http:http://217.107.197.174:8081 proxy.mimvp.com
http --proxy=http:http://user:pass@217.107.197.174:8081 proxy.mimvp.com
http --proxy=https:http://112.114.96.34:8118 proxy.mimvp.com
http --proxy=https:http://user:pass@112.114.96.34:8118 proxy.mimvp.com
5）下载文件
http -d minvp.com
