Linux curl brew命令详解

命令:curl

在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持文件的上传和下载,是综合传输工具,但按传统,习惯称url为下载工具。

语法:# curl [option] [url]

常见参数:

复制代码
-A/--user-agent <string>              设置用户代理发送给服务器
-b/--cookie <name=string/file>    cookie字符串或文件读取位置
-c/--cookie-jar <file>                    操作结束后把cookie写入到这个文件中
-C/--continue-at <offset>            断点续转
-D/--dump-header <file>              把header信息写入到该文件中
-e/--referer                                  来源网址
-f/--fail                                          连接失败时不显示http错误
-o/--output                                  把输出写到该文件中
-O/--remote-name                      把输出写到该文件中,保留远程文件的文件名
-r/--range <range>                      检索来自HTTP/1.1或FTP服务器字节范围
-s/--silent                                    静音模式。不输出任何东西
-T/--upload-file <file>                  上传文件
-u/--user <user[:password]>      设置服务器的用户和密码
-w/--write-out [format]                什么输出完成后
-x/--proxy <host[:port]>              在给定的端口上使用HTTP代理
-#/--progress-bar                        进度条显示当前的传送状态
复制代码

例子:
1、基本用法

# curl http://www.linux.com

执行后,www.linux.com 的html就会显示在屏幕上了
Ps:由于安装linux的时候很多时候是没有安装桌面的,也意味着没有浏览器,因此这个方法也经常用于测试一台服务器是否可以到达一个网站

2、保存访问的网页
2.1:使用linux的重定向功能保存

# curl http://www.linux.com >> linux.html

2.2:可以使用curl的内置option:-o(小写)保存网页

$ curl -o linux.html http://www.linux.com

执行完成后会显示如下界面,显示100%则表示保存成功

% Total    % Received % Xferd  Average Speed  Time    Time    Time  Current
                                Dload  Upload  Total  Spent    Left  Speed
100 79684    0 79684    0    0  3437k      0 --:--:-- --:--:-- --:--:-- 7781k

2.3:可以使用curl的内置option:-O(大写)保存网页中的文件
要注意这里后面的url要具体到某个文件,不然抓不下来

# curl -O http://www.linux.com/hello.sh

3、测试网页返回值

# curl -o /dev/null -s -w %{http_code} www.linux.com

Ps:在脚本中,这是很常见的测试网站是否正常的用法

4、指定proxy服务器以及其端口
很多时候上网需要用到代理服务器(比如是使用代理服务器上网或者因为使用curl别人网站而被别人屏蔽IP地址的时候),幸运的是curl通过使用内置option:-x来支持设置代理

# curl -x 192.168.100.100:1080 http://www.linux.com

5、cookie
有些网站是使用cookie来记录session信息。对于chrome这样的浏览器,可以轻易处理cookie信息,但在curl中只要增加相关参数也是可以很容易的处理cookie
5.1:保存http的response里面的cookie信息。内置option:-c(小写)

# curl -c cookiec.txt  http://www.linux.com

执行后cookie信息就被存到了cookiec.txt里面了

5.2:保存http的response里面的header信息。内置option: -D

# curl -D cookied.txt http://www.linux.com

执行后cookie信息就被存到了cookied.txt里面了

注意:-c(小写)产生的cookie和-D里面的cookie是不一样的。


5.3:使用cookie
很多网站都是通过监视你的cookie信息来判断你是否按规矩访问他们的网站的,因此我们需要使用保存的cookie信息。内置option: -b

# curl -b cookiec.txt http://www.linux.com

6、模仿浏览器
有些网站需要使用特定的浏览器去访问他们,有些还需要使用某些特定的版本。curl内置option:-A可以让我们指定浏览器去访问网站

# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com

这样服务器端就会认为是使用IE8.0去访问的

7、伪造referer(盗链)
很多服务器会检查http访问的referer从而来控制访问。比如:你是先访问首页,然后再访问首页中的邮箱页面,这里访问邮箱的referer地址就是访问首页成功后的页面地址,如果服务器发现对邮箱页面访问的referer地址不是首页的地址,就断定那是个盗连了
curl中内置option:-e可以让我们设定referer

# curl -e "www.linux.com" http://mail.linux.com

这样就会让服务器其以为你是从www.linux.com点击某个链接过来的

8、下载文件
8.1:利用curl下载文件。
#使用内置option:-o(小写)

# curl -o dodo1.jpg http:www.linux.com/dodo1.JPG

#使用内置option:-O(大写)

# curl -O http://www.linux.com/dodo1.JPG

这样就会以服务器上的名称保存文件到本地

8.2:循环下载
有时候下载图片可以能是前面的部分名称是一样的,就最后的尾椎名不一样

# curl -O http://www.linux.com/dodo[1-5].JPG

这样就会把dodo1,dodo2,dodo3,dodo4,dodo5全部保存下来

8.3:下载重命名

# curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG

由于下载的hello与bb中的文件名都是dodo1,dodo2,dodo3,dodo4,dodo5。因此第二次下载的会把第一次下载的覆盖,这样就需要对文件进行重命名。

# curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG

这样在hello/dodo1.JPG的文件下载下来就会变成hello_dodo1.JPG,其他文件依此类推,从而有效的避免了文件被覆盖

8.4:分块下载
有时候下载的东西会比较大,这个时候我们可以分段下载。使用内置option:-r

# curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG
# curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG
# curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG
# cat dodo1_part* > dodo1.JPG

这样就可以查看dodo1.JPG的内容了

8.5:通过ftp下载文件
curl可以通过ftp下载文件,curl提供两种从ftp中下载的语法

# curl -O -u 用户名:密码 ftp://www.linux.com/dodo1.JPG
# curl -O ftp://用户名:密码@www.linux.com/dodo1.JPG

8.6:显示下载进度条

# curl -# -O http://www.linux.com/dodo1.JPG

8.7:不会显示下载进度信息

# curl -s -O http://www.linux.com/dodo1.JPG

9、断点续传
在windows中,我们可以使用迅雷这样的软件进行断点续传。curl可以通过内置option:-C同样可以达到相同的效果
如果在下载dodo1.JPG的过程中突然掉线了,可以使用以下的方式续传

# curl -C -O http://www.linux.com/dodo1.JPG

10、上传文件
curl不仅仅可以下载文件,还可以上传文件。通过内置option:-T来实现

# curl -T dodo1.JPG -u 用户名:密码 ftp://www.linux.com/img/

这样就向ftp服务器上传了文件dodo1.JPG

11、显示抓取错误

# curl -f http://www.linux.com/error

其他参数(此处翻译为转载):

复制代码
-a/--append                        上传文件时,附加到目标文件
--anyauth                            可以使用“任何”身份验证方法
--basic                                使用HTTP基本验证
-B/--use-ascii                      使用ASCII文本传输
-d/--data <data>                  HTTP POST方式传送数据
--data-ascii <data>            以ascii的方式post数据
--data-binary <data>          以二进制的方式post数据
--negotiate                          使用HTTP身份验证
--digest                        使用数字身份验证
--disable-eprt                  禁止使用EPRT或LPRT
--disable-epsv                  禁止使用EPSV
--egd-file <file>              为随机数据(SSL)设置EGD socket路径
--tcp-nodelay                  使用TCP_NODELAY选项
-E/--cert <cert[:passwd]>      客户端证书文件和密码 (SSL)
--cert-type <type>              证书文件类型 (DER/PEM/ENG) (SSL)
--key <key>                    私钥文件名 (SSL)
--key-type <type>              私钥文件类型 (DER/PEM/ENG) (SSL)
--pass  <pass>                  私钥密码 (SSL)
--engine <eng>                  加密引擎使用 (SSL). "--engine list" for list
--cacert <file>                CA证书 (SSL)
--capath <directory>            CA目   (made using c_rehash) to verify peer against (SSL)
--ciphers <list>                SSL密码
--compressed                    要求返回是压缩的形势 (using deflate or gzip)
--connect-timeout <seconds>    设置最大请求时间
--create-dirs                  建立本地目录的目录层次结构
--crlf                          上传是把LF转变成CRLF
--ftp-create-dirs              如果远程目录不存在,创建远程目录
--ftp-method [multicwd/nocwd/singlecwd]    控制CWD的使用
--ftp-pasv                      使用 PASV/EPSV 代替端口
--ftp-skip-pasv-ip              使用PASV的时候,忽略该IP地址
--ftp-ssl                      尝试用 SSL/TLS 来进行ftp数据传输
--ftp-ssl-reqd                  要求用 SSL/TLS 来进行ftp数据传输
-F/--form <name=content>        模拟http表单提交数据
-form-string <name=string>      模拟http表单提交数据
-g/--globoff                    禁用网址序列和范围使用{}和[]
-G/--get                        以get的方式来发送数据
-h/--help                      帮助
-H/--header <line>              自定义头信息传递给服务器
--ignore-content-length        忽略的HTTP头信息的长度
-i/--include                    输出时包括protocol头信息
-I/--head                      只显示文档信息
-j/--junk-session-cookies      读取文件时忽略session cookie
--interface <interface>        使用指定网络接口/地址
--krb4 <level>                  使用指定安全级别的krb4
-k/--insecure                  允许不使用证书到SSL站点
-K/--config                    指定的配置文件读取
-l/--list-only                  列出ftp目录下的文件名称
--limit-rate <rate>            设置传输速度
--local-port<NUM>              强制使用本地端口号
-m/--max-time <seconds>        设置最大传输时间
--max-redirs <num>              设置最大读取的目录数
--max-filesize <bytes>          设置最大下载的文件总量
-M/--manual                    显示全手动
-n/--netrc                      从netrc文件中读取用户名和密码
--netrc-optional                使用 .netrc 或者 URL来覆盖-n
--ntlm                          使用 HTTP NTLM 身份验证
-N/--no-buffer                  禁用缓冲输出
-p/--proxytunnel                使用HTTP代理
--proxy-anyauth                选择任一代理身份验证方法
--proxy-basic                  在代理上使用基本身份验证
--proxy-digest                  在代理上使用数字身份验证
--proxy-ntlm                    在代理上使用ntlm身份验证
-P/--ftp-port <address>        使用端口地址,而不是使用PASV
-Q/--quote <cmd>                文件传输前,发送命令到服务器
--range-file                    读取(SSL)的随机文件
-R/--remote-time                在本地生成文件时,保留远程文件时间
--retry <num>                  传输出现问题时,重试的次数
--retry-delay <seconds>        传输出现问题时,设置重试间隔时间
--retry-max-time <seconds>      传输出现问题时,设置最大重试时间
-S/--show-error                显示错误
--socks4 <host[:port]>          用socks4代理给定主机和端口
--socks5 <host[:port]>          用socks5代理给定主机和端口
-t/--telnet-option <OPT=val>    Telnet选项设置
--trace <file>                  对指定文件进行debug
--trace-ascii <file>            Like --跟踪但没有hex输出
--trace-time                    跟踪/详细输出时,添加时间戳
--url <URL>                    Spet URL to work with
-U/--proxy-user <user[:password]>  设置代理用户名和密码
-V/--version                    显示版本信息
-X/--request <command>          指定什么命令
-y/--speed-time                放弃限速所要的时间。默认为30
-Y/--speed-limit                停止传输速度的限制,速度时间'秒
-z/--time-cond                  传送时间设置
-0/--http1.0                    使用HTTP 1.0
-1/--tlsv1                      使用TLSv1(SSL)
-2/--sslv2                      使用SSLv2的(SSL)
-3/--sslv3                      使用的SSLv3(SSL)
--3p-quote                      like -Q for the source URL for 3rd party transfer
--3p-url                        使用url,进行第三方传送
--3p-user                      使用用户名和密码,进行第三方传送
-4/--ipv4                      使用IP4
-6/--ipv6                      使用IP6
复制代码

 

brew常用命令总结

1、brew的安装
https://brew.sh/

2、常用命令
//查看brew的版本
brew -v

//更新homebrew自己,把所有的Formula目录更新,并且会对本机已经安装并有更新的软件用*标明
brew update

//查看命令帮助:
brew -help

//查看那些已安装的程序需要更新
brew outdated

//更新单个软件:
brew upgrade [包名]
例:brew upgrade git

//更新所有软件:
brew upgrade

//安装软件
brew install [包名]@版本
例:brew install git

//卸载
brew uninstall [包名]
例:brew uninstall git

//清理所有包的旧版本 (安装包缓存)
brew cleanup
例:brew cleanup -n //显示要删除的内容,但不要实际删除任何内容
例:brew cleanup -s //清理缓存,包括下载即使是最新的版本
例:brew cleanup --prune=1 //删除所有早于指定时间的缓存文件(天)

//清理单个软件旧版本
brew cleanup [包名]
例:brew cleanup git

//查看需要更新的包
brew outdated

//查看可清理的旧版本包,不执行实际操作
brew cleanup -n

//锁定某个包
brew pin $FORMULA

//取消锁定
brew unpin $FORMULA

//查看包信息
brew info [包名]
例:brew info git

//查看安装列表
brew list

//查询可用包
brew search [包名]
例:brew search git

//显示包依赖
brew deps [包名]
例: brew deps git

3.注意事项
在Mac OS X 10.11系统以后,/usr/local/等系统目录下的文件读写是需要系统root权限的,以往的Homebrew安装如果没有指定安装路径,会默认安装在这些需要系统root用户读写权限的目录下,导致有些指令需要添加sudo前缀来执行,比如升级Homebrew需要:

$ sudo brew update
1
如果你不想每次都使用sudo指令,你有两种方法可以选择:

//1.对/usr/local 目录下的文件读写进行root用户授权
$ sudo chown -R $USER /usr/local
例:$ sudo chown -R lean /usr/local

//2.(推荐)安装Homebrew时对安装路径进行指定,直接安装在不需要系统root用户授权就可以自由读写的目录下
<install path> -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

wget命令详解

 

导读: wget是Linux中的一个下载文件的工具,wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。

它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力,那不没办法的事。而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP和HTTP下载方式,支持代理服务器和设置起来方便简单。下面我们以实例的形式说明怎么使用wget。 

 

首先安装wget

1 [root@network test]# yum install -y wget

查看帮助手册

1 [root@network test]# wget --help
复制代码
复制代码
  1 GNU Wget 1.14,非交互式的网络文件下载工具。
  2 用法: wget [选项]... [URL]...
  3 
  4 长选项所必须的参数在使用短选项时也是必须的。
  5 
  6 启动:
  7   -V,  --version           显示 Wget 的版本信息并退出。
  8   -h,  --help              打印此帮助。
  9   -b,  --background        启动后转入后台。
 10   -e,  --execute=COMMAND   运行一个“.wgetrc”风格的命令。
 11 
 12 日志和输入文件:
 13   -o,  --output-file=FILE    将日志信息写入 FILE。
 14   -a,  --append-output=FILE  将信息添加至 FILE。
 15   -d,  --debug               打印大量调试信息。
 16   -q,  --quiet               安静模式 (无信息输出)。
 17   -v,  --verbose             详尽的输出 (此为默认值)。
 18   -nv, --no-verbose          关闭详尽输出,但不进入安静模式。
 19        --report-speed=TYPE   Output bandwidth as TYPE.  TYPE can be bits.
 20   -i,  --input-file=FILE     下载本地或外部 FILE 中的 URLs。
 21   -F,  --force-html          把输入文件当成 HTML 文件。
 22   -B,  --base=URL            解析与 URL 相关的
 23                              HTML 输入文件 (由 -i -F 选项指定)。
 24        --config=FILE         Specify config file to use.
 25 
 26 下载:
 27   -t,  --tries=NUMBER            设置重试次数为 NUMBER (0 代表无限制)。
 28        --retry-connrefused       即使拒绝连接也是重试。
 29   -O,  --output-document=FILE    将文档写入 FILE。
 30   -nc, --no-clobber              skip downloads that would download to
 31                                  existing files (overwriting them).
 32   -c,  --continue                断点续传下载文件。
 33        --progress=TYPE           选择进度条类型。
 34   -N,  --timestamping            只获取比本地文件新的文件。
 35   --no-use-server-timestamps     不用服务器上的时间戳来设置本地文件。
 36   -S,  --server-response         打印服务器响应。
 37        --spider                  不下载任何文件。
 38   -T,  --timeout=SECONDS         将所有超时设为 SECONDS 秒。
 39        --dns-timeout=SECS        设置 DNS 查寻超时为 SECS 秒。
 40        --connect-timeout=SECS    设置连接超时为 SECS 秒。
 41        --read-timeout=SECS       设置读取超时为 SECS 秒。
 42   -w,  --wait=SECONDS            等待间隔为 SECONDS 秒。
 43        --waitretry=SECONDS       在获取文件的重试期间等待 1..SECONDS 秒。
 44        --random-wait             获取多个文件时,每次随机等待间隔
 45                                  0.5*WAIT...1.5*WAIT 秒。
 46        --no-proxy                禁止使用代理。
 47   -Q,  --quota=NUMBER            设置获取配额为 NUMBER 字节。
 48        --bind-address=ADDRESS    绑定至本地主机上的 ADDRESS (主机名或是 IP)。
 49        --limit-rate=RATE         限制下载速率为 RATE。
 50        --no-dns-cache            关闭 DNS 查寻缓存。
 51        --restrict-file-names=OS  限定文件名中的字符为 OS 允许的字符。
 52        --ignore-case             匹配文件/目录时忽略大小写。
 53   -4,  --inet4-only              仅连接至 IPv4 地址。
 54   -6,  --inet6-only              仅连接至 IPv6 地址。
 55        --prefer-family=FAMILY    首先连接至指定协议的地址
 56                                  FAMILY 为 IPv6,IPv4 或是 none。
 57        --user=USER               将 ftp 和 http 的用户名均设置为 USER。
 58        --password=PASS           将 ftp 和 http 的密码均设置为 PASS。
 59        --ask-password            提示输入密码。
 60        --no-iri                  关闭 IRI 支持。
 61        --local-encoding=ENC      IRI (国际化资源标识符) 使用 ENC 作为本地编码。
 62        --remote-encoding=ENC     使用 ENC 作为默认远程编码。
 63        --unlink                  remove file before clobber.
 64 
 65 目录:
 66   -nd, --no-directories           不创建目录。
 67   -x,  --force-directories        强制创建目录。
 68   -nH, --no-host-directories      不要创建主目录。
 69        --protocol-directories     在目录中使用协议名称。
 70   -P,  --directory-prefix=PREFIX  以 PREFIX/... 保存文件
 71        --cut-dirs=NUMBER          忽略远程目录中 NUMBER 个目录层。
 72 
 73 HTTP 选项:
 74        --http-user=USER        设置 http 用户名为 USER。
 75        --http-password=PASS    设置 http 密码为 PASS。
 76        --no-cache              不在服务器上缓存数据。
 77        --default-page=NAME     改变默认页
 78                                (默认页通常是“index.html”)。
 79   -E,  --adjust-extension      以合适的扩展名保存 HTML/CSS 文档。
 80        --ignore-length         忽略头部的‘Content-Length’区域。
 81        --header=STRING         在头部插入 STRING。
 82        --max-redirect          每页所允许的最大重定向。
 83        --proxy-user=USER       使用 USER 作为代理用户名。
 84        --proxy-password=PASS   使用 PASS 作为代理密码。
 85        --referer=URL           在 HTTP 请求头包含‘Referer: URL’。
 86        --save-headers          将 HTTP 头保存至文件。
 87   -U,  --user-agent=AGENT      标识为 AGENT 而不是 Wget/VERSION。
 88        --no-http-keep-alive    禁用 HTTP keep-alive (永久连接)。
 89        --no-cookies            不使用 cookies。
 90        --load-cookies=FILE     会话开始前从 FILE 中载入 cookies。
 91        --save-cookies=FILE     会话结束后保存 cookies 至 FILE。
 92        --keep-session-cookies  载入并保存会话 (非永久) cookies。
 93        --post-data=STRING      使用 POST 方式;把 STRING 作为数据发送。
 94        --post-file=FILE        使用 POST 方式;发送 FILE 内容。
 95        --content-disposition   当选中本地文件名时
 96                                允许 Content-Disposition 头部 (尚在实验)。
 97        --content-on-error      output the received content on server errors.
 98        --auth-no-challenge     发送不含服务器询问的首次等待
 99                                的基本 HTTP 验证信息。
100 
101 HTTPS (SSL/TLS) 选项:
102        --secure-protocol=PR     choose secure protocol, one of auto, SSLv2,
103                                 SSLv3, TLSv1, TLSv1_1 and TLSv1_2.
104        --no-check-certificate   不要验证服务器的证书。
105        --certificate=FILE       客户端证书文件。
106        --certificate-type=TYPE  客户端证书类型,PEM 或 DER。
107        --private-key=FILE       私钥文件。
108        --private-key-type=TYPE  私钥文件类型,PEM 或 DER。
109        --ca-certificate=FILE    带有一组 CA 认证的文件。
110        --ca-directory=DIR       保存 CA 认证的哈希列表的目录。
111        --random-file=FILE       带有生成 SSL PRNG 的随机数据的文件。
112        --egd-file=FILE          用于命名带有随机数据的 EGD 套接字的文件。
113 
114 FTP 选项:
115        --ftp-user=USER         设置 ftp 用户名为 USER。
116        --ftp-password=PASS     设置 ftp 密码为 PASS。
117        --no-remove-listing     不要删除‘.listing’文件。
118        --no-glob               不在 FTP 文件名中使用通配符展开。
119        --no-passive-ftp        禁用“passive”传输模式。
120        --preserve-permissions  保留远程文件的权限。
121        --retr-symlinks         递归目录时,获取链接的文件 (而非目录)。
122 
123 WARC options:
124        --warc-file=FILENAME      save request/response data to a .warc.gz file.
125        --warc-header=STRING      insert STRING into the warcinfo record.
126        --warc-max-size=NUMBER    set maximum size of WARC files to NUMBER.
127        --warc-cdx                write CDX index files.
128        --warc-dedup=FILENAME     do not store records listed in this CDX file.
129        --no-warc-compression     do not compress WARC files with GZIP.
130        --no-warc-digests         do not calculate SHA1 digests.
131        --no-warc-keep-log        do not store the log file in a WARC record.
132        --warc-tempdir=DIRECTORY  location for temporary files created by the
133                                  WARC writer.
134 
135 递归下载:
136   -r,  --recursive          指定递归下载。
137   -l,  --level=NUMBER       最大递归深度 (inf 或 0 代表无限制,即全部下载)。
138        --delete-after       下载完成后删除本地文件。
139   -k,  --convert-links      让下载得到的 HTML 或 CSS 中的链接指向本地文件。
140   --backups=N   before writing file X, rotate up to N backup files.
141   -K,  --backup-converted   在转换文件 X 前先将它备份为 X.orig。
142   -m,  --mirror             -N -r -l inf --no-remove-listing 的缩写形式。
143   -p,  --page-requisites    下载所有用于显示 HTML 页面的图片之类的元素。
144        --strict-comments    用严格方式 (SGML) 处理 HTML 注释。
145 
146 递归接受/拒绝:
147   -A,  --accept=LIST               逗号分隔的可接受的扩展名列表。
148   -R,  --reject=LIST               逗号分隔的要拒绝的扩展名列表。
149        --accept-regex=REGEX        regex matching accepted URLs.
150        --reject-regex=REGEX        regex matching rejected URLs.
151        --regex-type=TYPE           regex type (posix|pcre).
152   -D,  --domains=LIST              逗号分隔的可接受的域列表。
153        --exclude-domains=LIST      逗号分隔的要拒绝的域列表。
154        --follow-ftp                跟踪 HTML 文档中的 FTP 链接。
155        --follow-tags=LIST          逗号分隔的跟踪的 HTML 标识列表。
156        --ignore-tags=LIST          逗号分隔的忽略的 HTML 标识列表。
157   -H,  --span-hosts                递归时转向外部主机。
158   -L,  --relative                  只跟踪有关系的链接。
159   -I,  --include-directories=LIST  允许目录的列表。
160   --trust-server-names             use the name specified by the redirection
161                                    url last component.
162   -X,  --exclude-directories=LIST  排除目录的列表。
163   -np, --no-parent                 不追溯至父目录。
复制代码
复制代码

 

1、使用 wget 下载单个文件 

以下的例子是从网络下载一个文件并保存在当前目录

在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。

1 wget http://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz

2、使用 wget -O 下载并以不同的文件名保存 

1 [root@network test]# wget https://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz
2 [root@network test]# ls
3 wordpress-4.9.4-zh_CN.tar.gz

我们可以使用参数-O来指定一个文件名:

1 wget -O wordpress.tar.gz  http://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz
2 wordpress.tar.gz

3、使用 wget -c 断点续传 

使用wget -c重新启动下载中断的文件:

对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件

 

1  wget -c https://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz

4、使用 wget -b 后台下载

对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载

1 [root@network test]# wget -b https://cn.wordpress.org/wordpress-4.9.4-zh_CN.tar.gz
2 继续在后台运行,pid 为 1463。
3 将把输出写入至 “wget-log”。

你可以使用以下命令来察看下载进度

复制代码
复制代码
 1 [root@network test]# tail -f wget-log
 2   8550K .......... .......... .......... .......... .......... 96%  814K 0s
 3   8600K .......... .......... .......... .......... .......... 97% 9.53M 0s
 4   8650K .......... .......... .......... .......... .......... 98% 86.8M 0s
 5   8700K .......... .......... .......... .......... .......... 98%  145M 0s
 6   8750K .......... .......... .......... .......... .......... 99% 67.4M 0s
 7   8800K .......... .......... .......... .......... .......... 99%  107M 0s
 8   8850K .......... .........                                  100% 1.95M=16s
 9 
10 2018-11-10 15:39:07 (564 KB/s) - 已保存 “wordpress-4.9.4-zh_CN.tar.gz.2” [9082696/9082696])
复制代码
复制代码

5、伪装代理名称下载 

有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过–user-agent参数伪装。

6、使用 wget –spider 测试下载链接

当你打算进行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。

复制代码
复制代码
 1 wget –spider URL 
 2 如果下载链接正确,将会显示 
 3  
 4 wget –spider URL 
 5 Spider mode enabled. Check if remote file exists. 
 6 HTTP request sent, awaiting response… 200 OK 
 7 Length: unspecified [text/html] 
 8 Remote file exists and could contain further links, 
 9 but recursion is disabled — not retrieving. 
10 这保证了下载能在预定的时间进行,但当你给错了一个链接,将会显示如下错误 
11  
12 wget –spider url 
13 Spider mode enabled. Check if remote file exists. 
14 HTTP request sent, awaiting response… 404 Not Found 
15 Remote file does not exist — broken link!!! 
复制代码
复制代码


你可以在以下几种情况下使用spider参数:

1 定时下载之前进行检查
2 间隔检测网站是否可用
3 检查网站页面的死链接

7、使用 wget –tries 增加重试次数 

如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。

1 wget –tries=40 URL 

8、使用 wget -i 下载多个文件 

复制代码
复制代码
 1 首先,保存一份下载链接文件 
 2  
 3 cat > filelist.txt 
 4 url1 
 5 url2 
 6 url3 
 7 url4 
 8 接着使用这个文件和参数-i下载 
 9  
10 wget -i filelist.txt
复制代码
复制代码

9、使用 wget –mirror 镜像网站 

 

10、使用 wget –reject 过滤指定格式下载 

你想下载一个网站,但你不希望下载图片,你可以使用以下命令。

1 wget –reject=gif url 

11、使用 wget -o 把下载信息存入日志文件 

你不希望下载信息直接显示在终端而是在一个日志文件,可以使用以下命令:

1 wget -o download.log URL

 

使用wget -O下载并以不同的文件名保存(-O:下载文件到对应目录,并且修改文件名称)

1
wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

 

posted @ 2022-03-13 20:45  hanease  阅读(834)  评论(0编辑  收藏  举报