Squid 传统、透明代理服务配置、日志分析

一、Squid 代理服务器

Squid 主要提供缓存加速、应用层过滤控制的功能。

1、代理的工作机制

（1）代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。
（2）将获得的网页数据（静态 Web 元素）保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。

2、代理服务器的概念

代理服务器是一个位于客户端和原始（资源）服务器之间的服务器，为了从原始服务器取得内容，客户端向代理服务器发送一个请求并指定目标原始服务器，然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

3.代理服务器的作用

主要作用有：

资源获取：代替客户端实现从原始服务器的资源获取；
加速访问：代理服务器可能离原始服务器更近，从而起到一定的加速作用；
缓存作用：代理服务器保存从原始服务器所获取的资源，从而实现客户端快速的获取；
隐藏真实地址：代理服务器代替客户端去获取原始服务器资源，从而隐藏客户端真实信息

4、Squid 代理的类型

传统代理：适用于Internet，需在客户机指定代理服务器的地址和端口。
透明代理：客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。
反向代理：如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 WEB 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

二、安装 Squid 服务

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

1、编译安装 Squid

yum -y install gcc gcc-c++ make

cd /opt/
ls
rz -E      #把软件包squid-3.5.28.tar.gz传进来
ls

tar zxvf squid-3.5.28.tar.gz -C /opt/     #解压

cd /opt/squid-3.5.28

./configure --prefix=/usr/local/squid \ #指定安装目录路径
--sysconfdir=/etc \                             #指定配置文件路径
--enable-arp-acl \                              #MAC地址管控，防止客户端使用IP欺骗
--enable-linux-netfilter \                      #使用内核过滤
--enable-linux-tproxy \                         #支持透明模式
--enable-async-io=100 \                         #异步IO，提升存储性能
--enable-err-language="Simplify_Chinese" \      #错误信息的显示语言
--enable-underscore \                           #允许URL中有下划线
--disable-poll \                                #关闭默认使用 poll 模式
--enable-epoll \                                #开启epoll模式提升性能
--enable-gnuregex                               #使用GNU正则表达式

make && make install     #编译并安装

ln -s /usr/local/squid/sbin/* /usr/local/sbin/

useradd -M -s /sbin/nologin squid

chown -R squid:squid /usr/local/squid/var/

2、修改 Squid 配置文件

vim /etc/squid.conf

...
56行插入

http_access allow all                #放在 http_access deny all 之前，允许任意客户机使用代理服务
http_access deny all
http_port 3128                        #用来指定代理服务监听的地址和端口(默认的端口号为 3128)

61行插入

cache_effective_user squid            #添加，指定程序用户，用来设置初始化、运行时缓存的账号,否则启动不成功
cache_effective_group squid            #添加，指定账号基本组

coredump_dir /usr/local/squid/var/cache/squid        #指定缓存文件目录

3、Squid 的运行控制

squid -k parse    #检查配置文件语法是否正确

#启动 Squid, 第一次启动 Squid 服务时，会自动初始化缓存目录

squid -z                     #-z 选项用来初始化缓存目录
squid                        #启动 squid 服务

netstat -anpt | grep "squid"

4、创建 Squid 服务脚本

vim /etc/init.d/squid

#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
   start)
     netstat -natp | grep squid &> /dev/null
     if [ $? -eq 0 ]
     then
       echo "squid is running"
     else
       echo "正在启动 squid..."
       $CMD
     fi
   ;;
   stop)
     $CMD -k kill &> /dev/null
     rm -rf $PID &> /dev/null
   ;;
   status)
     [ -f $PID ] &> /dev/null
        if [ $? -eq 0 ]
          then
            netstat -natp | grep squid
          else
            echo "squid is not running"
        fi
   ;;
   restart)
      $0 stop &> /dev/null
      echo "正在关闭 squid..."
      $0 start &> /dev/null
      echo "正在启动 squid..."
   ;;
   reload)
      $CMD -k reconfigure
   ;;
   check)
      $CMD -k parse
   ;;
   *)
      echo "用法：$0{start|stop|status|reload|check|restart}"
   ;;
esac

#2345是默认自启动级别，如是-代表任何级别都不自启动；90是启动优先级，25是停止优先级，优先级范围是0－100，数字越大，优先级越低。

chmod +x /etc/init.d/squid
chkconfig --add squid
chkconfig --level 35 squid on

#后面在对 Squid 服务进行管理时，就可以用 service 进行相关操作
 
service squid stop 
service squid status
netstat -antp | grep squid

service squid start
service squid status
netstat -antp | grep squid

三、构建传统代理服务器

环境准备

主机	操作系统	IP地址	软件/工具
Squid-Server	Centos7	20.0.0.5	squid-3.5.28.tar.gz
web	Centos7	20.0.0.6	httpd
客户端	Win10	20.0.0.100	-

Squid-Server （20.0.0.5）

vim /etc/squid.conf
......
http_access allow all
http_access deny all
http_port 3128
cache_effective_user squid
cache_effective_group squid

63行插入

cache_mem 64 MB                #指定缓存功能所使用的内存空间大小，便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，建议设为物理内存的1/4
reply_body_max_size 10 MB      #允许用户下载的最大文件大小，以字节为单位，当下载超过指定大小的Web对象时，浏览器的报错页面中会出现“请求或访问太大”的提示默认设置0表示不进行限制
maximum_object_size 4096 KB    #允许保存到缓存空间的最大对象大小，以KB为单位，超过大小限制的文件将不被缓存，而是直接转发给用户

service squid restart    #重启服务
systemctl restart squid

生产环境中还需要修改防火墙规则

iptables -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
iptables -L INPUT

客户机的代理配置（192.168.184.100）

1、配置客户端 IP 地址

（1）Win10配置

2、打开浏览器，配置代理功能

（2）若是Win7，配置如下

打开浏览器，工具——Internet选项——连接——局域网设置——开启代理服务器（地址：Squid服务器IP地址，端口：3128）

Web（20.0.0.6）

systemctl stop firewalld.service
setenforce 0
yum -y install httpd
systemctl start httpd
netstat -natp | grep 80

测试

在浏览器输入Web服务器IP地址访问，查看Web服务器访问日志，显示的是由代理服务器替客户机在访问。

http://20.0.0.6

查看Web1访问日志的新增记录

tail -f /var/log/httpd/access_log
#在浏览器输入Web服务时IP地址访问，查看Web服务器访问日志，显示的是由代理服务器替客户机在访问

查看Squid 访问日志的新增记录

四、构建透明代理服务器

环境配置

主机	操作系统	IP地址	服务、安装包、工具
Squid-Server	Centos7	ens33：20.0.0.5 、 ens36：12.0.0.1	squid-3.5.28.tar.gz
Web	Centos7	12.0.0.12	httpd
客户端	Centos7	20.0.0.100	-

1、Squid 服务器配置

（1）关机,添加网卡ens36，先修改网卡ens33

关机 init 0 —— 手动添加一块网卡 —— 开机 —— ifconfig查看新增网卡名称 —— 编辑网卡的配置文件

ifconfig

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens36
vim ifcfg-ens33

（2）修改网卡ens36

vim ifcfg-ens36

（3）重启网卡，查看网卡信息

systemctl restart network
ifconfig

（4）60行修改添加提供内网服务的IP地址，和支持透明代理选项 transparent

vim /etc/squid.conf
......
http_access allow all
http_access deny all

http_port 20.0.0.5:3128 transparent       


systemctl restart squid
netstat -natp | grep 3128

（5）开启路由转发，实现本机中不同网段的地址转发

systemctl stop firewalld.service
setenforce 0

echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
sysctl -p

（6）修改防火墙规则

iptables -F
iptables -t nat -F

iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

iptables -t nat -I PREROUTING -i ens33 -s 20.0.0.0/24 -p tcp --dport 80 -j REDIRECT --to 3128 
iptables -t nat -I PREROUTING -i ens33 -s 20.0.0.0/24 -p tcp --dport 443 -j REDIRECT --to 3128

# nat表进行转发； -I：指定链；  -i:指定入栈网卡；  -s：源地址； -p:指定协议；  dport：端口； -j REDIRECT to 3128:把前面的数据转发给3128；

2、Web 服务器配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network
ifconfig

3、客户机测试（20.0.0.100）

关闭客户机的浏览器之前设置的代理服务器的功能后访问 http://12.0.0.12

4、查看 Squid 访问日志的新增记录

tail -f /usr/local/squid/var/logs/access.log

5、查看 Web 访问日志的新增记录，显示的是由代理服务器的外网口代替客户机在访问

tail -f /var/log/httpd/access_log

#可以发现是代理服务器外网口 12.0.0.1 访问的12.0.0.1

五、ACL 访问控制

环境配置

主机	操作系统	IP地址	软件/工具
Squid-Server	Centos7	20.0.0.5	squid-3.5.28.tar.gz
Web1	Centos7	20.0.0.6	httpd
Web2	Centos7	20.0.0.7	httpd
客户端	Centos7	20.0.0.100	-

在配置文件 squid.conf 中，ACL 访问控制通过以下两个步骤来实现：
（1）使用 acl 配置项定义需要控制的条件；
（2）通过 http_access 配置项对已定义的列表做“允许”或“拒绝”访问的控制。

1．定义访问控制列表

格式：acl 列表名称 列表类型 列表内容 …

常用的ACL列表类型

src	源地址
dst	目标地址
port	目标端口
dstdomain	目标域
time	访问时间
maxconn	最大并发连接
url_regex	目标URL地址
Urlpath_regex	整个目标URL路径

2. 定义访问控制列表格式模板



vim /etc/squid.conf
......
acl localhost src 20.0.0.5/32                     #源地址为 20.0.0.5
acl MYLAN src 20.0.0.0/24             #客户机网段
acl destionhost dst 20.0.0.6/32                #目标地址为 20.0.0.6
acl MC20 maxconn 20                                    #最大并发连接 20
acl PORT port 21                                    #目标端口 21
acl DMBLOCK dstdomain .qq.com                        #目标域，匹配域内所有站点
acl BURL url_regex -i ^rtsp:// ^emule://            #以 rtsp://、emule:// 开头的 URL，-i表示忽略大小写
acl PURL urlpath_regex -i \.mp3$ \.mp4$ \.rmvb$        #以 .mp3、.mp4、.rmvb 结尾的 URL 路径
acl WORKTIME time MTWHF 08:30-17:30                    #时间为周一至周五 8:30~17:30，“MTWHF”为每个星期的英文首字母

3、配置Squid-Server（20.0.0.5）

iptables -F
iptables -t nat -F

vim /dest.list
20.0.0.6

vim /etc/squid.conf
......
acl destinationhost dst "/dest.list"            #调用指定文件中的列表内容
......
http_access deny destinationhost                #注意，如果是拒绝列表，需要放在http_access allow all前面

http_port 3128

systemctl restart squid
netstat -natp | grep 312

4、配置 Web1（20.0.0.6）和 Web2（20.0.0.7）

systemctl stop firewalld.service  #关闭防火墙
setenforce 0


yum -y install httpd             #安装httpd服务，两个Web都要装    
systemctl start httpd

5、访问测试

（1）客户机浏览器打开代理功能，代理服务器20.0.0.5，端口3128

（2）浏览器(20.0.0.100)访问Web服务器 http://20.0.0.6，显示被访问被拒绝,访问http://20.0.0.7则可以访问。

6、抓取报文进行分析

tcpdump tcp -i ens36 -t -s 0 -c 100 -w ./target.cap

sz target.cap

六、Squid 日志分析

1、安装图像处理软件包

#需要使用在线源

#使用本地源yum安装会出现报错（因为连接不到外网了），只需将网卡ens33配置文件中的dns和网关修改回原样即可,即取消dns和网关的注释

yum install -y pcre-devel gd gd-devel

mkdir /usr/local/sarg
tar zxvf sarg-2.3.7.tar.gz -C /opt/

cd /opt/sarg-2.3.7

./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection
make && make install

cp /etc/sarg/sarg.conf{,.bak}  #备份配置文件

vim /etc/sarg/sarg.conf

7行取消注释

access_log /usr/local/squid/var/logs/access.log        #指定访问日志文件

25行取消注释

title "Squid User Access Reports"                    #网页标题

120行取消注释

output_dir /var/www/html/squid-reports                        #报告输出目录

178行取消注释

user_ip no                                            #使用用户名显示

184行取消注释，修改

topuser_sort_field connect reverse                    #top排序中，指定连接次数采用降序排列，升序是normal

190行取消注释，修改

user_sort_field connect reverse                        #对于用户访问记录，连接次数按降序排序

206行取消注释，修改

exclude_hosts /usr/local/sarg/noreport                #指定不计入排序的站点列表的文件

257行取消注释

overwrite_report no                                    #同名同日期的日志是否覆盖

289行取消注释，修改

mail_utility mailq.postfix                            #发送邮件报告命令

434行取消注释，修改

charset UTF-8                                        #指定字符集UTF-8

518行取消注释

weekdays 0-6                                        #top排行的星期周期

525行取消注释

hours 0-23                                            #top排行的时间周期

633行取消注释

www_document_root /var/www/html                        #指定网页根目录

2、添加不计入站点文件，添加的域名将不被显示在排序中

touch /usr/local/sarg/noreport

ln -s /usr/local/sarg/bin/sarg /usr/local/bin/
sarg --help

3、运行

sarg                #启动一次记录

4、验证

yum install httpd -y
systemctl start httpd

5、浏览器访问 http://192.168.184.10/squid-reports ，查看sarg报告网页

6、添加计划任务，执行每天生成报告

vim /usr/local/sarg/report.sh

#/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)              
#Get one week ago today
YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)        #变量YESTERDAY 前一天日期+日/月/年
/usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports -z -d $YESTERDAY-$TODAY &> /dev/null
#命令路径-l 导入缓存日志文件；-o 输出到/var/www/html/squid-reports 目录中；-z:进程消息；-d:日期消息；输出的消息放入null中
exit 0

chmod +x /usr/local/sarg/report.sh

crontab -e
0 0 * * * /usr/local/sarg/report.sh

七、Squid 反向代理

作用：

squid服务器代理的是服务端，客户机访问squid服务器，squid服务器会查看是否缓存过请求的数据，如果有缓存会直接发送给客户机，加快了响应速度，如果没有缓存过，squid服务器会根据均衡算法转发给后端的服务器进行数据的处理，代理用户访问web服务器，避免直接对web服务器发起访问，提高了安全性，数据处理后web服务器发送给squid服务器，squid服务器返回给客户机并且会缓存再本地以方便下一次请求的使用

工作机制

缓存网页对象，减少重复请求
将互联网请求轮训或按权重分配到内网Web服务器
代理用户请求，避免用户直接访问web服务器，提高安全

环境配置

主机	操作系统	IP地址	软件/工具
Squid-Server	Centos7	20.0.0.5	squid-3.5.28.tar.gz
Web1	Centos7	20.0.0.6	httpd
Web2	Centos7	20.0.0.7	httpd
客户端	Win10	20.0.0.100

1、Squid-Server（20.0.0.5）配置

iptables -F                #清空防火墙规则
iptables -t nat -F

60行修改，插入

vim /etc/squid.conf
...

http_port 20.0.0.5:80 accel vhost vport
cache_peer 20.0.0.6 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 20.0.0.7 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.xxx.com
#表示对 www.xxx.com 发来的请求，squid向 20.0.0.6 和 20.0.0.7 的80端口发出请求

systemctl restart squid.service 
netstat -antp | grep squid

http_port 80 accel vhost vport:

squid从一个缓存变成了一个Web服务器使用加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。

parent	代表为父节点
80	HTTP_PORT
0	ICP_PORT
no-query	不做查询操作，直接获取数据
originserver	指定是源服务器
round-robin	指定 squid 通过轮询方式将请求分发到其中一台父节点
max_conn	指定最大连接数
weight	指定权重
name	设置别名

2、web1（20.0.0.6）、web2（20.0.0.7）配置

systemctl stop firewalld.service
setenforce 0


yum install -y httpd
systemctl start httpd

（1）web1（20.0.0.6）

echo "this is aaa" >> /var/www/html/index.html

（2）web2（20.0.0.7）

echo "this is bbb" >> /var/www/html/index.html

3、客户机（20.0.0.100）的域名映射

修改 C:\Windows\System32\drivers\etc\hosts 文件
20.0.0.5 www.xxx.com

4、客户机的代理配置

5、测试浏览器访问 http://www.xxx.com

posted @ 2021-09-09 01:16 DoYouWantMore 阅读(766) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

Squid 传统、透明代理服务配置、日志分析

一、Squid 代理服务器

1、代理的工作机制

2、代理服务器的概念

3.代理服务器的作用

4、Squid 代理的类型

二、安装 Squid 服务

1、编译安装 Squid

2、修改 Squid 配置文件

3、Squid 的运行控制

4、创建 Squid 服务脚本

三、构建传统代理服务器

Squid-Server （20.0.0.5）

63行插入

生产环境中还需要修改防火墙规则

客户机的代理配置（192.168.184.100）

1、配置客户端 IP 地址

（1）Win10配置

2、打开浏览器，配置代理功能

（2）若是Win7，配置如下

Web（20.0.0.6）

测试

查看Web1访问日志的新增记录

查看Squid 访问日志的新增记录

四、构建透明代理服务器

1、Squid 服务器配置

（1）关机,添加网卡ens36，先修改网卡ens33

（2）修改网卡ens36

（3）重启网卡，查看网卡信息

（4）60行 修改添加提供内网服务的IP地址，和支持透明代理选项 transparent

（5）开启路由转发，实现本机中不同网段的地址转发

（6）修改防火墙规则

2、Web 服务器配置

3、客户机测试（20.0.0.100）

4、查看 Squid 访问日志的新增记录

5、查看 Web 访问日志的新增记录，显示的是由代理服务器的外网口代替客户机在访问

五、ACL 访问控制

环境配置

1．定义访问控制列表

2. 定义访问控制列表格式模板

3、配置Squid-Server（20.0.0.5）

4、配置 Web1（20.0.0.6）和 Web2（20.0.0.7）

5、访问测试

（1）客户机浏览器打开代理功能，代理服务器20.0.0.5，端口3128

（2）浏览器(20.0.0.100)访问Web服务器 http://20.0.0.6，显示被访问被拒绝,访问http://20.0.0.7则可以访问。

6、抓取报文进行分析

六、Squid 日志分析

1、安装图像处理软件包

2、添加不计入站点文件，添加的域名将不被显示在排序中

3、运行

4、验证

5、浏览器访问 http://192.168.184.10/squid-reports ，查看sarg报告网页

6、添加计划任务，执行每天生成报告

七、Squid 反向代理

作用：

工作机制

环境配置

1、Squid-Server（20.0.0.5）配置

2、web1（20.0.0.6）、web2（20.0.0.7） 配置

3、客户机（20.0.0.100）的域名映射

4、客户机的代理配置

5、测试 浏览器访问 http://www.xxx.com

公告

（4）60行修改添加提供内网服务的IP地址，和支持透明代理选项 transparent

2、web1（20.0.0.6）、web2（20.0.0.7）配置

5、测试浏览器访问 http://www.xxx.com