squid代理

安装Squid容器

从docker hub下载容器

$ docker pull sameersbn/squid

在docker中创建容器

启动容器

# 运行
docker run --name squid -d \
-p 3128:3128 \
-v /home/docker/squid/squid.conf:/etc/squid/squid.conf \
sameersbn/squid:3.5.27-2

# 删除
docker rm -f squid

## 日志
docker logs squid


docker run --name squid -d \
-p 3128:3128 \
-v /Users/mac/docker-home/squid/squid.conf:/etc/squid/squid.conf \
sameersbn/squid:3.5.27-2


# 终端设置代理，临时生效
export http_proxy=http://2.2.2.58:3128 
export https_proxy=http://2.2.2.58:3128

修改配置

$ cat /home/docker/squid/squid.conf
acl SSL_ports port 443
acl Safe_ports port 80    # http
acl Safe_ports port 21    # ftp
acl Safe_ports port 443   # https
acl Safe_ports port 70    # gopher
acl Safe_ports port 210   # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280   # http-mgmt
acl Safe_ports port 488   # gss-http
acl Safe_ports port 591   # filemaker
acl Safe_ports port 777   # multiling http
acl CONNECT method CONNECT
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access allow all          ## 允许所有IP访问代理
http_port 3128
coredump_dir /var/spool/squid
refresh_pattern ^ftp:   1440  20% 10080
refresh_pattern ^gopher:  1440  0%  1440
refresh_pattern -i (/cgi-bin/|\?) 0 0%  0
refresh_pattern (Release|Packages(.gz)*)$      0       20%     2880
refresh_pattern .   0 20% 4320

squid代理
课程目标

了解squid的应用场景
理解squid的工作原理和作用
理squid的代理类型（重点）
掌握squid的正向和透明代理的配置（重点）
能够根据需求对squid服务器做简单的访问控制

一、squid基本概述
1.squid是什么？用来做什么？

squid cache（简称squid）是流行最广的，使用最普遍的开源缓存代理服务器
2.squid的作用和应用场景有哪些？

用来做前置的web缓存，加快用户访问web的速度
代理内网用户访问互联网资源
设置访问控制策略，控制用户的上网行为
主要支持http、ftp等应用协议
官网地址：http://www.squid-cache.org/

3.常见的代理服务器软件

squid 非常古老，功能齐全
varnish 性能优于squid，功能相对没有squid多
其他 haproxy、nginx等

4.squid的工作原理

优点：减少访问请求，节约带宽

具有ACL（access control list）访问控制列表功能，对客户机上网行为灵活控制

对内网客户机具有保护作用
二、squid代理类型
1.正向代理

2.透明代理

正向代理的过程隐藏了真实的请求客户端，服务器不知道真实的客户端是谁，客户端请求的服务都被代理服务器代替请求。我们常说的代理就是正向代理，正向代理代理的是请求方，也就是客户端。
3.反向代理

反向代理的过程隐藏了真实的服务器，客户不知道真正提供服务的人是谁，客户端请求的服务都被代理服务器处理。反向代理代理的是响应方，也就是服务端。
4.总结

正向代理和透明代理中的代理服务器和客户端同属一个LAN，对server端是透明的，服务器并不知道自己为谁提供服务。作用都是让内网用户可以通过代理服务器上互联网，也可以提高访问速度，并且可以通过代理服务器的访问控制限制内网用户的上网行为。
反向代理的过程隐藏了真实的服务器，对客户端是透明的，客户端并不知道真正提供访问的服务器。可以起到负载均衡端作用，提高用户的访问速度。
两者的区别在于代理的对象不一样，正向代理代理的对象是客户端，反向代理代理的对象是服务端。
应用场景
    正向和透明代理：一般用于公司内网用户访问互联网，根据需求进行访问控制
    反向代理：一般用于公司服务器集群前做web缓存，提高用户访问效率，同时可以起到负责均衡作用，为互联网提供可持续端web服务。

三、squid代理服务器和SNAT|DNAT的区别
1.SNAT和DNAT

网络层次：网络层

局域网用户访问外围走SNAT模式，同一个数据包，改变数据包头部的来源地址，再把数据包发到internet

作用：内网用户上外网（SNAT）和内网服务发布到公网（DNAT）

2.代理服务器模式

网络层次：应用层

不改变数据包头信息，把数据包代理给Internet的服务器，基于应用层端过滤。

应用层：

协议：http、ftp、pop、smtp、p2p等

作用：缓存页面，加速访问，ACL资源访问控制

反向代理：
    Internet用户访问局域网服务器
    squid做反向代理服务器，把用户端请求转发到后方端真实端服务器，可以做到负载均衡端效果，同时缓存用户经常访问的页面以提高访问速度。

四、了解squid代理软件相关信息
1.安装软件

squid在本地镜像里有，只需要配置好本地端yum源即可
yum -y install squid

2.软件的文件列表

rpm -ql squid
/etc/squid/squid.conf 配置文件
/etc/rc.d/init.d/squid 启动脚本
/usr/sbin/squid 二进制命令
/usr/share/doc/squid-3.1.23 手册
/var/log/squid 日志目录
/var/spool/squid 缓存目录

3.配置文件说明

[root@agent2 ~]# vim /etc/squid/squid.conf 简化的配置文件
[root@agent2 ~]# vim /usr/share/doc/squid-3.1.23/squid.conf.documented 查看文档
//设置监听端IP和端口号
http_port 3128
//额外提供给squid使用端内存大小
cache_mem 256MB(默认大小)
//设置squid磁盘缓存最大文件，超过4M端文件不保存到磁盘
maximum_object_size 4MB
//设置squid磁盘缓存最小文件
minimum_object_size 0 KB
//设置squid内存缓存最大文件，超过4M不保存到内存
maximum_object_size_in_memory 4096 KB
//定义squid端cache存放路径、cache目录容量（单位M）、一级缓存目录数量、二级缓存目录数量
cache_dir ufs /var/spool/squid 100 16 256

//log文件日志格式

logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %>Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh

//log文件存放路径和日志格式

access_log /var/log/squid/access.log squid

//设置缓存日志
cache_log /var/log/suqid/cache.log
//log轮转60天
logfile_rotate 60
//cache目录使用量大于95%时，开始清理旧的cache
cache_swap_high 95
//cache目录清理到90%时停止
cache_swap_low 90

//定义本地网段
acl localnet src 192.168.1.0/24
//允许本地网段使用
http_access allow localnet
//拒绝所有
http_access deny all
//主机名
visible_hostname xxx.xxxx.xxxx

//管理员邮箱
cache_mgr 123456@qq.com

五、squid端正向代理配置

需求：内网用户通过浏览器指定代理服务器端ip和端口访问互联网中端web服务

环境：client：10.1.1.2
squid—server：10.1.1.1和2.2.2.1
web-server：2.2.2.2
（都是仅主机模式）
思路：
1.squid-server需要两个IP，一个公网一个私网
2.client端只需要和squid-server能互通就行，不需要指定gw和dns
3.client端需要在浏览器上设置代理服务器端IP和端口
4.squid-server可以上外网（要能访问2.2.2.2），client不能上外网，目的就是让squid代理内网用户访问互联网web服务
5.搭建一个web服务

步骤：
搭建squid-server服务器
1.安装软件
yum -y install squid

把主机名改为squid-server.itcast.cc 下面要用到，临时改就行，要求不严

2.根据需求修改配置文件
需求：代理内网所有用户访问互联网端web服务
cp /etc/squid/squid.conf /etc/squid/squid.conf.bak
vim /etc/squid/squid.conf
...

http_access deny all 注释掉这行

http_access allow all 允许所有人来访问代理服务器

cache_dir ufs /var/spool/squid 100 16 256 取消掉前面注释，打开缓存目录
增加以下两行：
visible_hostname squid-server.itcast.cc 定义squid服务器主机名
access_log /var/log/squid/access.log 定义访问日志

3.启动squid服务
service squid start
init_cache_dir /var/spool/squid... Starting squid: . [ ok ]

服务器启动后会再缓存目录里产生以下一级、二级缓存目录文件
ls /var/spool/squid/
00 01 02 03 04 05 06 07 08 09 0A 0B 0C 0D 0E 0F swap.state

查看端口3128已经处于监听状态

注意：如果再次重启会报以下警告：
WARNING cache_mem is larger than total disk cache space!
原因：默认情况下，cache_mem为256M，而squid端配置里磁盘缓存默认为100M
解决：
方法1：调小cache_mem的值
在配置文件中增加 cache_mem 100MB
方法2：调大磁盘缓存
修改配置文件中如下内容：
cache_dir ufs /var/spool/squid 256 16 256 ——>把100换成256
说明：squid缓存从 内存 ————> 磁盘
cache_mem /var/spool/squid

搭建web服务：
web-server：2.2.2.2

rpm -q httpd
做一个网页文件，带图片的，可以展示缓存,放到/var/www/html/里面
启动httpd

客户端测试：
client：10.1.1.2 注意：不需要设置网关和dns
配置代理服务器前：不能够直接访问web服务
ping 2.2.2.2 网络不可达
客户端内火狐浏览器访问http://2.2.2.1不能连接（因为没有打开转发功能echo 1 > /proc/sys/net/ipv4/ip_forward，此处不需要打开）
手动配置代理服务器ip和port
edit-->preferences--advanced-->network-->connection-->setting-->manual proxy configuration
输入代理服务器端内网地址10.1.1.1，port 3128
此时再输入http://2.2.2.2
能够看到自己端网页文件

内网不直接访问web服务器，但是通过代理服务器访问到了，这就是代理

假设web-server宕机，
service httpd stop
客户端重新输入http://2.2.2.2，仍能访问到

六、squid的透明代理配置

需求：内网用户通过代理服务器可以直接访问互联网中的web服务，不用指定proxy地址和端口

思路：
1.squid-server需要两个IP，一个公网一个私网
2.client端浏览器不需要指定代理服务器的IP和端口，但是需要指定网关为squid-server的私网地址
3.squid-server需要借助iptables将内网的80端口重定向到自己的3128端口帮内网用户代理上网
4.搭建一个web服务
（仅主机模式）

步骤：
client端浏览器清空刚刚的代理设置（不要忘记）
client端指定自己的默认网关为squid-server的私有地址
[root@client ~] route add default gw 10.1.1.1

squid-server端配置透明代理服务器并添加iptables规则：
1.修改squid配置文件
vim /etc/squid/squid.conf
http_port 3128 transparent //在代理端口后面加上transparent（透明），代表透明代理
重启服务：
service squid restart

2.添加防火墙规则
iptables -t nat -A PREROUTING -s 10.1.1.0/24 -p tcp --dport 80 -j REDIRECT --to-port 3128
iptables -t nat -nL

说明：
-j REDIRECT 表示端口重定向，仅用于tcp和udp协议
This is only valid if the rule also specifies -p tcp or -p udp

3.客户端测试验证
1）打开浏览器，输入http://2.2.2.2 可以看到web-server的web页面
curl -I http://2.2.2.2/index.html //查看是否缓存
。。。
X-Cache:HIT from squid-server.itcast.cc
X-Cache-Lookup:HIT from squid-server.itcast.cc:3128 //HIT代表命中，缓存

。。。
X-Cache:MISS from squid-server.itcast.cc
X-Cache-Lookup:MISS from squid-server.itcast.cc:3128
2）web-server端，查看/var/log/httpd/access.log日志
3）squid-server端，查看/var/log/squid/access.log日志
4）测试web-server服务停止，squid-server是否缓存

只能上外网，访问页面，不能ping通2.2.2.2
另外：
windows不能访问是因为网关不同，网络不能访问squid-server端

七、squid实现访问控制
1.访问控制配置语法

1.禁止IP地址为192.168.0.100的客户机上网
acl test src 192.168.0.100 //定义来源IP，test可以自己定义，代表定义端IP
http_access deny test //拒绝test后面定义端源IP ：192.168.0.100上网
可以把要管理的IP写到一个文件里，然后在src后面跟上“文件路径”

2.禁止192.168.1.0这个网段里端所有客户机上网
acl test src 192.168.1.0/255.255.255.0
或者
acl test src 192.168.1.0/24
http_access deny test

3.禁止用户访问IP为210.21.118.68的网站
acl test dst 210.21.118.68
http_access deny test

4.禁止用户访问域名为www.163.com的网站
acl test dstdomain -i www.163.com //-i 忽略大小写
http_access deny test

5.禁止用户访问域名包含有163.com的网站
acl test url_regex -i 163.com //使用正则表达式匹配URL地址
http_access deny test

6.禁止用户访问包含有sex关键字端URL
acl test url_regex -i sex
http_access deny test

7.禁止用户访问多个网址
acl test dstdom_regex "/etc/squid/baddaturl"
//如果网址太多，可以写成一个文件，然后在这个文件里一行一个网站写上要
http_access deny test

8.vip用户没有任何限制
acl vip arp 00：0c:29:79:0C:1A //绑定mac地址
http_access allow vip

9.禁止192.168.2.0这个子网内所有客户机在周一到周五的9点到18点上网
acl test1 src 192.168.2.0/255.255.255.0
acl test2 time MTWHF 9:00-18:00 /S日/M一/T二/W三/H四/F五/A六/D（周一到周五）
http_access deny test1 test2

hwclock --hctosys 还原时间命令

10.禁止用户下载.mp3,.exe,.zip,.rar带有定义后缀名的文件
acl test urlpath_regex -i .mp3$ .exe$ .zip$ .rar$ .txt$
//urlpath_regex 正则表达式匹配URL地址
http_access deny test

注意：设置acl访问控制规则的时候，有先后顺序。第一条规则匹配上就不再继续往下，所以先把拒绝写在前面

2.应用案例
2.1根据IP地址访问控制
2.2根据域名访问控制
2.3根据时间和日期访问控制

2.4根据文件名访问控制
3.综合案例

八、反向代理（扩展）

需求：某公司内网搭建了一台web服务器，希望互联网用户来访问该web服务，越多越好

环境：
client：2.2.2.2 互联网用户
squid-server：2.2.2.1和10.1.1.1 2个IP，一个公网一个私网
web-server：10.1.1.3 公司内网web服务器

还原acl控制

搭建反向代理服务器squid步骤：
1.清空之前的环境
iptables -t nat -F
2.修改squid.conf配置文件来配置反向代理
vim /etc/squid/squid.conf
...
http_port 80 vhost
cache_peer 10.1.1.3 parent 80 0 originserver

解释说明：
less /usr/share/doc/squid-3.1.10/squid.conf.documented
...
cache_peer hostname type http-port icp-port [options]

cache_peer：做反向代理的关键字
hostname：代表后台真正的web服务器
type：代表代理服务器的类型，有PARENT和SIBLING两种：parent代表父亲，sibling代表兄弟伙伴
http-port：后台web服务的端口
icp-port：代表代理服务器之间通讯的端口（用于查询兄弟缓存的端口）
[options]：代表可选项
originserver：代表原始服务器（真正的web服务器）
weight：代表权重
max-coon：代表
...

3.测试验证
在client端：2.2.2.2上直接访问代理服务器：
http://2.2.2.1 （访问代理服务器）

分类: squid
好文要顶 关注我 收藏该文
谁与问倚楼人瘦
关注 - 47
粉丝 - 1
+加关注
0
0
« 上一篇： puppet 安装配置与简单实验
» 下一篇： nagios 监控
posted @ 2019-06-14 13:11 谁与问倚楼人瘦 阅读(627) 评论(0) 编辑 收藏