http协议与apache

http协议与apache

1、httpd协议

两台主机通信需要socket文件

 yum insatll -y nc
 ​
 [root@localhost ~]#nc -l 8000
 #主机1 在监听 8000 端口
 ​
 [root@node2 ~]#nc 192.168.91.100 8000
 #主机2 去访问  主机1(服务端)的8000 端口 就可以聊天了

1.1 http相关概念

互联网:所有类型网络的总集

因特网:类似广域网,世界上最大的互联网网络。即因特网概念从属于互联网概念。习惯上,大家把连接在因特网上的计算机都称为主机。

万维网:WWW(world wide web)类似数据库,提供超链接技术

URL:万维网使用统一资源定位符(Uniform Resource Locator)来标记万维网上的各种文档,并使每个文档在整个因特网的范围内具有唯一的标识符URL。

HTTP:超文本传送协议(HyperText Transfer Protocol),为使资源传播到各个网络而诞生出来的协议,大家都需要遵守。HTTP是处于应用层的协议,使用TCP传输层协议进行可靠的传送。特别提醒,万维网是基于因特网的一种广泛因特网应用系统,且万维网采用的是HTTP(80/TCP)和 HTTPS(443/TCP)的传输协议,但因特网还有其他的网络应用系统(如:FTP、SMTP等等)。

HTML:万维网使用超文本标记语言(HyperText Markup Language),使得万维网页面的设计者可以很方便地用链接从页面的某处链接到因特网的任何一个万维网页面,并且能够在自己的主机品目上将这些页面显示出来。

1.2 访问浏览器的过程

image-20230821164305037

1.3 http协议通讯过程

HTTP(HyperText Transfer Protocol,超文本传输协议)是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础设计HTTP最初的目的是为了提供一种远距离共享知识的方式,借助多文档进行关联实现超文本,连成相互参阅的WWW(world wide web,万维网)

HTTP的发展是由蒂姆·伯纳斯-李(Tim Berners-Lee)于1989年在欧洲核子研究组织(CERN)所发起。HTTP的标准制定由万维网协会(World Wide Web Consortium,W3C)和互联网工程任务组(Internet Engineering Task Force,IETF)进行协调,最终发布了一系列的RFC,其中最著名的是1999年6月公布的 RFC 2616,定义了HTTP协议中现今广泛使用的一个版本——HTTP 1.1版

image-20230821162556019

1.4 HTTP相关技术

1.4.1 WEB开发语言

http:Hyper Text Transfer Protocol 应用层协议,默认端口: 80/tcp

WEB前端开发语言:html、css、javascript

html

Hyper Text Markup Language 超文本标记语言,编程语言,主要负责实现页面的结构

范例:html 语言

 <html>
 <head>
 <meta http-equiv=Content-Type content="text/html;charset=utf-8">
 <title>HTML语言</title>
 </head>
 <body>
 <img src="http://bdpc.hfbdqnedu.com/new/2019img/logo.png" >
 <h1 style="color:red">欢迎</h1>
 <p><a href=http://www.magedu.com>课工场</a>欢迎你</p>
 </body>
 </html>
 ​
 #注意:html文件编码为utf-8编码

CSS

Cascading Style Sheet 层叠样式表, 定义了如何显示(装扮) HTML 元素,比如:字体大小和颜色属性等。样式通常保存在外部的 .css 文件中,用于存放一些HTML文件的公共属性,从而通过仅编辑一个简单的 CSS 文档,可以同时改变站点中所有页面的布局和外观。

范例 :CSS

 #test.html 建议用Vscode创建文件,用记事本可能会出现乱码
 <html>
 <head>
 <meta http-equiv=Content-Type content="text/html;charset=utf-8">
 <link rel="stylesheet" type="text/css" href="mystyle.css" />
 </head>
 <body>
 <h1>这是 heading 1</h1>
 <p>这是一段普通的段落。请注意,该段落的文本是红色的。在 body 选择器中定义了本页面中的默认文本颜
 色。</p>
 <p class="ex">该段落定义了 class="ex"。该段落中的文本是蓝色的。</p>
 </body>
 </html>
 ​
 #mystyle.css
 body {color:red}
 h1 {color:#00ff00}
 p.ex {color:rgb(0,0,255)}

js

javascript,实现网页的动画效果,但实属于静态资源

Java和javascript的关系: 周杰和周杰伦的关系,两种语言

范例:javascript

 <!DOCTYPE html>
 <html>
 <head>
 <meta http-equiv=Content-Type content="text/html;charset=utf-8">
 </head>
 <body>
 <h2>我的第一个 JavaScript</h2>
 <button type="button"
 onclick="document.getElementById('demo').innerHTML = Date()">
 点击这里来显示日期和时间
 </button>
 <p id="demo"></p>
 </body>
 </html>

1.4.2 MIME

文件/etc/mime.types,来自mailcap包

不在文件里的文件打开后默认下载下来

 text/plain   
 text/html  
 text/css 
 image/jpeg   jpg jpeg
 image/png 
 video/mp4 
 application/javascript

1.4.3 URI和URL

Uniform Resource Identifer统一资源标识,分为URN和URL

  • URN:Uniform Resource Naming,统一资源命令

例子:P2P下载使用的磁力链接URN的一种实现,只是描述了资源的名字,并没有明确资源在哪

  • URL:Uniform Resorce Locator,统一资源定位符,用于描述某服务器特定资源位置

两者区别:

URN指定名称,URL指定位置

 <scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
 scheme:方案,访问服务器以获取资源时要使用哪种协议
 user:用户,某些方案访问资源时需要的用户名
 password:密码,用户对应的密码,中间用:分隔
 Host:主机,资源宿主服务器的主机名或IP地址
 port:端口,资源宿主服务器正在监听的端口号,很多方案有默认端口号
 path:路径,服务器资源的本地名,由一个/将其与前面的URL组件分隔
 params:参数,指定输入的参数,参数为名/值对,多个参数,用;分隔
 query:查询,传递参数给程序,如数据库,用?分隔,多个查询用&分隔
 frag:片段,一小片或一部分资源的名字,此组件在客户端使用,用#分隔
 http://www.kgc.com:80/images/logo.jpg
 ​
 提供  http服务软件的根  不是操作系统真正的根
 ​
 ​
 http      /var/www/html  
           /data/
 ​
 ftp://mage:password@172.16.0.1/pub/linux.ppt
 rtsp://videoserver/video_demo/ #Real Time Streaming Protocol
 gcomm://10.0.0.8,10.0.0.18,10.0.0.28
 https://list.jd.com/list.html?cat=670,671,672&ev=14_2&sort=sort_totalsales15_desc&trans=1
 http://apache.org/index.html#projects-list

1.4.4 网站访问量

网站访问量统计的重要指标:

  • IP(独立IP):即Internet Protocol,指独立IP数。一天内来自相同客户机IP 地址只计算一次,记录远程客户机IP地址的计算机访问网站的次数,是衡量网站流量的重要指标

  • PV(访问量): 即Page View, 页面浏览量或点击量,用户每次刷新即被计算一次,PV反映的是浏览某网站的页面数,PV与来访者的数量成正比,PV并不是页面的来访者数量,而是网站被访问的页面数量

  • UV(独立访客):即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过cookies实现的。如果更换了IP后但不清除cookies,再访问相同网站,该网站的统计中UV数是不变的

1.4.5 HTTP工作机制

一次http事务包括:

  • http请求:http request

  • http响应:http response

Web资源:web resource, 一个网页由多个资源(文件)构成,打开一个页面,通常会有多个资源展示出来,但是每个资源都要单独请求。因此,一个"Web 页面”通常并不是单个资源,而是一组资源的集合

资源类型:

  • 静态文件:无需服务端做出额外处理,服务器端和客户端的文件内容相同

    常见文件后缀:.html, .txt, .jpg, .js, .css, .mp3, .avi

  • 动态文件:服务端执行程序,返回执行的结果,服务器端和客户端的文件内容不相同

    常见文件后缀:.php, .jsp ,.asp

串行和并行连接

image-20230821183837059

串行,持久连接和管道

image-20230821184350904

提高HTTP连接性能

  • 并行连接:通过多条TCP连接发起并发的HTTP请求

  • 持久连接:keep-alive,重用TCP连接,以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接

  • 管道化连接:通过共享TCP连接,发起并发的HTTP请求

  • 复用的连接:交替传送请求和响应报文(实验阶段)

(长连接:一次三次握手下载多个资源)

1.6 HTTP协议版本

HTTP0.9只有下载

HTTP1.0可下载可上传

HTTP1.1支持长链接

HTTP1.0和1.1的问题

  • HTTP1.x在传输数据时,每次都需要重新建立连接,无疑增加了大量的延迟时间,特别是在移动端更为突出

  • HTTP1.x在传输数据时,所有传输的内容都是明文,客户端和服务器端都无法验证对方的身份,无法保证数据的安全性

  • HTTP1.x在使用时,header里携带的内容过大,增加了传输的成本,并且每次请求header基本不怎么变化,尤其在移动端增加用户流量

  • 虽然HTTP1.x支持了keep-alive,来弥补多次创建连接产生的延迟,但是keep-alive使用多了同样会给服务端带来大量的性能压力,并且对于单个文件被不断请求的服务(例如图片存放网站),keepalive可能会极大的影响性能,因为它在文件被请求之后还保持了不必要的连接很长时间

1.4.7 HTTP请求访问的完整过程

1、建立连接

2、接受请求

3、处理请求

4、访问资源

5、构建响应报文

6、发送响应报文

7、记录日志

 

1、建立连接

接收或拒绝连接请求

2、接收请求
  • 单进程I/O模型:启动一个进程处理用户请求,而且一次只处理一个,多个请求被串行响应

  • 多进程I/O模型:并行启动多个进程,每个进程响应一个连接请求

  • 复用I/O结构:启动一个进程,同时响应N个连接请求

  • 复用的多进程I/O模型:启动M个进程,每个进程响应N个连接请求,同时接收M*N个请求

3、处理请求

服务器对请求报文进行解析,并获取请求的资源及请求方法等相关信息,根据方法,资源,首部和可选的主体部分对请求进行处理

常用请求Method: GET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS

4、访问资源

服务器获取请求报文中请求的资源web服务器,即存放了web资源的服务器,负责向请求者提供对方请求的静态资源,或动态运行后生成的资源

5、构建响应报文

一旦Web服务器识别除了资源,就执行请求方法中描述的动作,并返回响应报文。响应报文中 包含有响应状态码、响应首部,如果生成了响应主体的话,还包括响应主体

1)响应实体:如果事务处理产生了响应主体,就将内容放在响应报文中回送过去。响应报文中通常包括:

描述了响应主体MIME类型的Content-Type首部

描述了响应主体长度的Content-Length

实际报文的主体内容

2)URL重定向:web服务构建的响应并非客户端请求的资源,而是资源另外一个访问路径

3)MIME类型: Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型

与资源管理起来

  • 魔法分类:Apache web服务器可以扫描每个资源的内容,并将其与一个已知模式表(被称为魔法文件)进行匹配,以决定每个文件的MIME类型。这样做可能比较慢,但很方便,尤其是文件没有标准扩展名时

  • 显式分类:可以对Web服务器进行配置,使其不考虑文件的扩展名或内容,强制特定文件或目录内容拥有某个MIME类型

  • 类型协商: 有些Web服务器经过配置,可以以多种文档格式来存储资源。在这种情况下,可以配置Web服务器,使其可以通过与用户的协商来决定使用哪种格式(及相关的MIME类型)"最好"

6、发送响应报文

Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接,有些是空闲的,有些在向服务器发送数据,还有一些在向客户端回送响应数据。服务器要记录连接的状态,还要特别注意对持久连接的处理。对非持久连接而言,服务器应该在发送了整条报文之后,关闭自己这一端的连接。对持久连接来说,连接可能仍保持打开状态,在这种情况下,服务器要正确地计算Content-Length首部,不然客户端就无法知道响应什么时候结束

7、记录日志

最后,当事务结束时,Web服务器会在日志文件中添加一个条目,来描述已执行的事务

1.5 http协议以及报文头部结构

http协议:http/0.9, http/1.0, http/1.1, http/2.0,http/3.0

http协议:stateless 无状态, 服务器无法持续追踪访问者来源

解决http协议无状态方法

  • cookie客户端存放

  • session服务端存放

http事务:一次访问的过程

  • 请求:request

  • 响应:response

1.5.1 HTTP请求报文

报文由三部分组成,开始行、首部行和实体主体。

  • 方法:

    • GET: 获取资源 当前网络请求中,绝大部分使用的是 GET 方

    • HEAD: 获取报文首部,主要用于确认 URL 的有效性以及资源更新的日期时间等

    • POST: 传输实体主体 (比如传输 用户名密码)

    • PUT: 上传文件(比如写博客)

    • PATCH: 对资源进行部分修改

    • DELETE:删除文件

    • OPTIONS:查询支持的方法(查看服务端可以支持哪些方法)

    • CONNECT:要求在与代理服务器通信时建立隧道(类似加密)

    • TRACE:追踪路径

  • url:指明资源的具体位置

    • scheme

      • http 超文本传输协议

      • https 安全的http协议

      • ftp 文件传输协议

    • user:帐号

    • password:密码

    • host:主机名 或 域名 或 ip地址

    • port: 服务器端口号

    • path:访问资源的路径,相当于组件路径

    • params:参数,但是这个不常用,指定一些参数,譬如指定传输方式

    • qurey:查询参数

    • frag:html资源片段,譬如html文档过大的时候,frag定位到html的一部分

  • 首部字段:使用首部字段是为了给浏览器和服务器提供报文主体大小、所使用的语言、认证信息等内容,HTTP 首部字段是由首部字段名和字段值构成的,中间用冒号“:” 分隔

    首部的分类:

    • 通用首部:请求报文和响应报文两方都会使用的首部

      • Date: 报文的创建时间

      • Connection:连接状态,如keep-alive, close

      • Via:显示报文经过的中间节点(代理,网关)

      • Cache-Control:控制缓存,如缓存时长

      • MIME-Version:发送端使用的MIME版本

      • Warning:错误通知

    • 请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、请求内容相关优先级等信息

      • Accept:通知服务器自己可接受的媒体类型

      • Accept-Charset: 客户端可接受的字符集

      • Accept-Encoding:客户端可接受编码格式,如gzip

      • Accept-Language:客户端可接受的语言

      • Client-IP: 请求的客户端IP

      • Host: 请求的服务器名称和端口号

      • Referer:跳转至当前URI的前一个URL

      • User-Agent:客户端代理,浏览器版本

      • Expect:允许客户端列出某请求所要求的服务器行为(条件式请求首部)

      • If-Modified-Since:自从指定的时间之后,请求的资源是否发生过修改(条件式请求首部)

      • If-Unmodified-Since:与上面相反(条件式请求首部)

      • If-None-Match:本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配(条件式请求首部)

      • If-Match:与上面相反 (条件式请求首部)

      • Authorization:向服务器发送认证信息,如账号和密码(安全请求首部)

      • Cookie: 客户端向服务器发送cookie

      • Proxy-Authorization: 向代理服务器认证 ( 代理请求首部)

    • 响应首部:从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容,也会要求客户端附加额外的内容信息

      • 协商首部:某资源有多种表示方法时使用

        • Accept-Ranges:服务器可接受的请求范围类型

        • Vary:服务器查看的其它首部列表

      • 安全响应首部:

        • Set-Cookie:向客户端设置cookie

        • WWW-Authenticate:来自服务器对客户端的质询列表

      • 信息性:

        • Age:从最初创建开始,响应持续时长

        • Server:服务器程序软件名称和版本

    • 实体首部:针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的的信息

      • 缓存相关:

        • ETag:实体的扩展标签

        • Expires:实体的过期时间

        • Last-Modified:最后一次修改的时间

      • Allow: 列出对此资源实体可使用的请求方法

      • Location:告诉客户端真正的实体位于何处

      • Content-Encoding:对主体执行的编码

      • Content-Language:理解主体时最适合的语言

      • Content-Location: 实体真正所处位置

      • Content-Type:主体的对象类型,如text

    • 扩展首部

  • 实体:请求时附加的数据或响应时附加的数据,例如:登录网站时的用户名和密码,博客的上传文章,论坛上的发言等。

request报文格式

<method> <request-URL> <version>
<headers>
<entity-body>

例子:

GET / HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: www.magedu.com
User-Agent: HTTPie/0.9.4

1.5.2 响应报文

response报文格式

<version> <status> <reason-phrase>
<headers>
<entity-body>

范例: curl -v 192.168.91.100 |head

HTTP/1.1 200 OK
Cache-Control: max-age=3, must-revalidate
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html; charset=UTF-8
Date: Thu, 07 Nov 2019 03:44:14 GMT
Server: Tengine
Transfer-Encoding: chunked
Vary: Accept-Encoding
Vary: Accept-Encoding, Cookie
1.5.2.1 状态码

参考资料:(https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Status)

http协议状态码分类

1xx:100-101 信息提示
2xx:200-206 成功
3xx:300-307 重定向
4xx:400-415 错误类信息,客户端错误
5xx:500-505 错误类信息,服务器端错误

http协议常用的状态码

200: 成功,请求数据通过响应报文的entity-body部分发送;OK
301: 请求的URL指向的资源已经被删除;但在响应报文中通过首部Location指明了资源现在所处的新位置;Moved Permanently
302: 响应报文Location指明资源临时新位置 Moved Temporarily
304: 客户端发出了条件式请求,但服务器上的资源未曾发生改变,则通过响应此响应状态码通知客户端;Not Modified
307:  浏览器内部重定向
401: 需要输入账号和密码认证方能访问资源;Unauthorized
403: 请求被禁止;Forbidden
404: 服务器无法找到客户端请求的资源;Not Found
500: 服务器内部错误;Internal Server Error,比如:cgi程序没有执行权限
502: 代理服务器从后端服务器收到了一条伪响应,如无法连接到网关;Bad Gateway
503: 服务不可用,临时服务器维护或过载,服务器无法处理请求,比如:php服务停止,无法处理php程序
504: 网关超时

2、httpd安装

2.1 常见http服务器程序

  • httpd apache,存在C10K(10K connections)问题

  • nginx 解决C10K问题lighttpd

  • IIS .asp 应用程序服务器

  • tomcat .jsp 应用程序服务器

  • jetty 开源的servlet容器,基于Java的web容器

  • Resin CAUCHO公司,支持servlets和jsp的引擎

  • webshpere:IBM公司

  • weblogic:BEA,Oracle

  • jboss:RedHat,IBM

  • oc4j:Oracle

2.2 apache介绍和特点

apache 功能:

  • 提供http协议服务

  • 多个虚拟主机:IP、Port、FQDN

  • CGI:Common Gateway Interface,通用网关接口,支持动态程序

  • 反向代理

  • 负载均衡

  • 路径别名

  • 丰富的用户认证机制:basic,digest

  • 支持第三方模块

apache特性:

  • 高度模块化:core + modules

  • DSO:Dynamic Shared Object 动态加载/卸载

  • MPM:multi-processing module 多路处理模块

2.2.1 三种工作模式

prefork:多进程I/O模型,每个进程响应一个请求,CentOS 7 httpd默认模型一个主进程:生成和回收n个子进程,创建套接字,不响应请求多个子进程:工作 work进程,每个子进程处理一个请求;系统初始时,预先生成多个空闲进程,等待请求

Prefork MPM预派生模式,有一个主控制进程,然后生成多个子进程,每个子进程有一个独立的线程响应用户请求,相对比较占用内存,但是比较稳定,可以设置最大和最小进程数,是最古老的一种模式,也是最稳定的模式,适用于访问量不是很大的场景

优点:稳定

缺点:慢,占用资源,不适用于高并发场景

worker:复用的多进程I/O模型,多进程多线程,IIS使用此模型

一个主进程:生成m个子进程,每个子进程负责生个n个线程,每个线程响应一个请求,并发响应请求:m*n

worker MPM是一种多进程和多线程混合的模型,有一个控制进程,启动多个子进程,每个子进程里面包含固定的线程,使用线程程来处理请求,当线程不够使用的时候会再启动一个新的子进程,然后在进程里面再启动线程处理请求,由于其使用了线程处理请求,因此可以承受更高的并发。

优点:相比prefork 占用的内存较少,可以同时处理更多的请求

缺点:使用keep-alive的长连接方式,某个线程会一直被占据,即使没有传输数据,也需要一直等待到超时才会被释放。如果过多的线程,被这样占据,也会导致在高并发场景下的无服务线程可用。(该问题在prefork模式下,同样会发生)

event:事件驱动模型(worker模型的变种),CentOS8 默认模型

一个主进程:生成m个子进程,每个子进程负责生个n个线程,每个线程响应一个请求,并发响应请求:m*n,有专门的监控线程来管理这些keep-alive类型的线程,当有真实请求时,将请求传递给服务线程,执行完毕后,又允许释放。这样增强了高并发场景下的请求处理能力

event MPM是Apache中最新的模式,2012年发布的apache 2.4.X系列正式支持event 模型. 属于事件驱动模型(epoll),每个进程响应多个请求,在现在版本里的已经是稳定可用的模式。它和worker模式很像,最大的区别在于,它解决了keep-alive场景下,长期被占用的线程的资源浪费问题(某些线程因为被keep-alive,空挂在哪里等待,中间几乎没有请求过来,甚至等到超时)。event MPM中,会有一个专门的线程来管理这些keep-alive类型的线程,当有真实请求过来的时候,将请求传递给服务线程,执行完毕后,又允许它释放。这样增强了高并发场景下的请求处理能力event只在有数据发送的时候才开始建立连接,连接请求才会触发工作线程,即使用了TCP的一个选项,叫做延迟接受连接TCP_DEFER_ACCEPT,加了这个选项后,若客户端只进行TCP连接,不发送请求,则不会触发Accept操作,也就不会触发工作线程去干活,进行了简单的防攻击(TCP连接)

优点:单线程响应多请求,占据更少的内存,高并发下表现更优秀,会有一个专门的线程来管理keep-alive类型的线程,当有真实请求过来的时候,将请求传递给服务线程,执行完毕后,又允许它释放

缺点:没有线程安全控制

httpd-2.4:event 稳定版,centos7 以后默认

httpd-2.2:event 测试版,centos6 默认

2.3 httpd安装和相关文件

2.3.1 安装、启动

版本说明:

CentOS 7 以上,默认系统是httpd 2.4,CentOS 6 版默认为httpd 2.2

Ubuntu 18.04 默认 Apache/2.4.29

安装方式:

  • 包安装: centos发行版,稳定,建议使用

  • 编译:定制或特殊需求

范例:安装httpd 2.4

yum  install   httpd -y

2.3.2 httpd-2.4 相关文件

配置文件:

  • /etc/httpd/conf/httpd.conf 主配置文件

  • /etc/httpd/conf.d/*.conf 子配置文件

  • /etc/httpd/conf.d/conf.modules.d/ 模块加载的配置文件

检查配置语法:httpd -t 或 apache2 -t

服务单元文件:

  • /usr/lib/systemd/system/httpd.service

  • 配置文件:/etc/sysconfig/httpd

服务控制和启动

  • systemctl enable|disable httpd.service

  • systemctl {start|stop|restart|status|reload} httpd.service

  • apachectl start|stop|restart|configtest

  • service httpd start|stop|restart|configtest

站点网页文档根目录:/var/www/html

模块文件路径:

  • /etc/httpd/modules

  • /usr/lib64/httpd/modules

主服务器程序文件:/usr/sbin/httpd

2.3.3 centos 7编译安装httpd 2.4

说明:安装httpd-2.4,依赖于apr-1.4+, apr-util-1.4+

#安装相关包:
[root@31yml ~]#yum -y install gcc make pcre-devel openssl-devel expat-devel
#下载源代码并解压缩:
[root@31yml ~#wget https://downloads.apache.org/apr/apr-1.7.0.tar.bz2
[root@31yml ~]#wget https://downloads.apache.org//apr/apr-util-1.6.1.tar.bz2
[root@31yml ~]#wget https://downloads.apache.org//httpd/httpd-2.4.46.tar.bz2
[root@31yml ~]#ls
httpd-2.4.46.tar.bz2,apr-1.7.0.tar.bz2,apr-util-1.6.1.tar.bz2
[root@31yml ~]#tar xvf apr-1.7.0.tar.bz2
[root@31yml ~]#tar xvf apr-util-1.6.1.tar.bz2
[root@31yml ~]#tar xvf httpd-2.4.46.tar.bz2

[root@31yml ~]#mv apr-1.7.0 httpd-2.4.46/srclib/apr
[root@31yml ~]#mv apr-util-1.6.1 httpd-2.4.46/srclib/apr-util
[root@31yml ~]#ls httpd-2.4.46/srclib/
[root@31yml ~]#apr apr-util Makefile.in

编译安装:

#!/bin/bash
#Description: httpd source code install
#下载源码包
target_dir=/usr/local/src
install_dir=/usr/local/httpd
##注意更换镜像网站
download_url=https://mirror.bit.edu.cn/apache/httpd/httpd-2.4.46.tar.bz2
file_name=${download_url##*/}
uncompress_dir=${file_name%.tar*}
rpm -q wget || yum install -y wget
wget -O $target_dir/$file_name $download_url
#安装依赖包
yum install -y gcc make apr-devel apr-util-devel pcre-devel openssl-devel 
redhat-rpm-config
#添加apache用户
id apache &> /dev/null || useradd -r -u 80 -d /var/www -s /sbin/nologin apache
#解压源码包
tar xf $target_dir/$file_name -C $target_dir
cd $target_dir/$uncompress_dir
#编译安装
./configure --prefix=$install_dir --sysconfdir=/etc/httpd --enable-ssl
make -j`lscpu | grep "^CPU(s)" | awk '{print $NF}'` && make install
#设置环境变量
echo 'PATH='$install_dir'/bin:$PATH' > /etc/profile.d/httpd.sh
source /etc/profile.d/httpd.sh

#修改配置文件
sed -ri 's#(User )daemon#\1apache#' /etc/httpd/httpd.conf
sed -ri 's#(Group )daemon#\1apache#' /etc/httpd/httpd.conf
#启动httpd服务
cat > /lib/systemd/system/httpd.service << EOF
[Unit]
Description=The Apache HTTP Server
After=network.target remote-fs.target nss-lookup.target
Documentation=man:httpd(8)
Documentation=man:apachectl(8)
[Service]
Type=forking
ExecStart=/usr/local/httpd/bin/apachectl start
ExecReload=/usr/local/httpd/bin/apachectl graceful
ExecStop=/usr/local/httpd/bin/apachectl stop
KillSignal=SIGCONT
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable httpd.service
systemctl start httpd.service

 

3、httpd基本配置

3.1 指定服务器名

[root@centos7 ~]#httpd -t
AH00558: httpd: Could not reliably determine the server's fully qualified domain 
name, using centos7.localdomain. Set the 'ServerName' directive globally to 
suppress this message
Syntax OK
[root@centos7 ~]#vim /etc/httpd/conf/httpd.conf
#ServerName www.example.com:80
servername www.magedu.org 
[root@centos7 ~]#httpd -t
Syntax OK

这个/ 代表软件的根目录,根目录可以随意设置

3.2包含其它配置文件

指令:

Include file-path|directory-path|wildcard
IncludeOptional file-path|directory-path|wildcard

说明:

  • Include和IncludeOptional功能相同,都可以包括其它配置文件

  • 但是当无匹配文件时,include会报错,IncludeOptional会忽略错误

include 子配置文件

[root@node2 ~]#grep -i include /etc/httpd/conf/httpd.conf 
Include conf.modules.d/*.conf
    #   Indexes Includes FollowSymLinks SymLinksifOwnerMatch ExecCGI MultiViews
# Possible values include: debug, info, notice, warn, error, crit,
    # If you include a trailing / on /webpath then the server will
    # To parse .shtml files for server-side includes (SSI):
    # (You will also need to add "Includes" to the "Options" directive.)
    AddOutputFilter INCLUDES .shtml
IncludeOptional conf.d/*.conf

总目录

[root@node2 httpd]#grep -i serverroot /etc/httpd/conf/httpd.conf
# with "/", the value of ServerRoot is prepended -- so 'log/access_log'
# with ServerRoot set to '/www' will be interpreted by the
# ServerRoot: The top of the directory tree under which the server's
# ServerRoot at a non-local disk, be sure to specify a local disk on the
# same ServerRoot for multiple httpd daemons, you will need to change at
ServerRoot "/etc/httpd"

3.3 监听地址

Listen [IP:]PORT

说明:

(1) 省略IP表示为本机所有IP

(2) Listen指令至少一个,可重复出现多次

范例:

Listen   192.168.91.100:8080
Lsten    80


vim /etc/httpd/conf.d/test.conf
Listen 8080

3.4隐藏服务器版本信息

[root@localhost ~]#curl -I 192.168.91.101
HTTP/1.1 200 OK
Date: Sat, 19 Aug 2023 08:28:41 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Fri, 18 Aug 2023 04:04:43 GMT
ETag: "1c-6032aa0ec1dcc"
Accept-Ranges: bytes
Content-Length: 28
Content-Type: text/html; charset=UTF-8

语法:

ServerTokens Major|Minor|Min[imal]|Prod[uctOnly]|OS|Full

相关指令:

ServerTokens Prod[uctOnly] :Server: Apache
ServerTokens Major: Server: Apache/2
ServerTokens Minor: Server: Apache/2.0
ServerTokens Min[imal]: Server: Apache/2.0.41
ServerTokens OS: Server: Apache/2.0.41 (Unix)
ServerTokens Full (or not specified): Server: Apache/2.0.41 (Unix) PHP/4.2.2 MyMod/1.2 此为默认值

范例:

[root@node2 httpd]#vim conf.d/test.conf
Listen 8080
ServerTokens Prod


[root@localhost ~]#curl -I 192.168.91.101
HTTP/1.1 200 OK
Date: Sat, 19 Aug 2023 08:28:41 GMT
Server: Apache
Last-Modified: Fri, 18 Aug 2023 04:04:43 GMT
ETag: "1c-6032aa0ec1dcc"
Accept-Ranges: bytes
Content-Length: 28
Content-Type: text/html; charset=UTF-8

3.5持久连接

Persistent Connection:连接建立,每个资源获取完成后不会断开连接,而是继续等待其它的请求完成,默认开启持久连接

断开条件:

  • 时间限制:以秒为单位, 默认5s,httpd-2.4 支持毫秒级

  • 请求数量: 请求数达到指定值,也会断开

副作用:对并发访问量大的服务器,持久连接会使有些请求得不到响应

折衷:使用较短的持久连接时间

持久连接相关指令:

KeepAlive On|Off
KeepAliveTimeout 15      #连接持续15s,可以以ms为单位,默认值为5s
MaxKeepAliveRequests 500  #持久连接最大接收的请求数,默认值100

测试方法:

telnet WEB_SERVER_IP PORT
GET /URL HTTP/1.1
Host: WEB_SERVER_IP


GET /test1 HTTP/1.1
host: 1.1.1.1   

3.6 DSO (Dynamic Shared Object)

Dynamic Shared Object,加载动态模块配置,不需重启即生效动态模块所在路径: /usr/lib64/httpd/modules/

主配置 /etc/httpd/conf/httpd.conf 文件中指定加载模块配置文件

ServerRoot "/etc/httpd"
Include conf.modules.d/*.conf

配置指定实现模块加载格式:

LoadModule <mod_name> <mod_path>

模块文件路径可使用相对路径:相对于ServerRoot(默认/etc/httpd)

范例:查看模块加载的配置文件

[root@centos7 ~]#ls /etc/httpd/conf.modules.d/
00-base.conf  00-lua.conf  00-optional.conf  00-systemd.conf  10-h2.conf       
README
00-dav.conf   00-mpm.conf  00-proxy.conf     01-cgi.conf      10-proxy_h2.conf
[root@centos7 ~]#cat /etc/httpd/conf.modules.d/00-base.conf 
#
# This file loads most of the modules included with the Apache HTTP
# Server itself.
#
LoadModule access_compat_module modules/mod_access_compat.so
LoadModule actions_module modules/mod_actions.so
LoadModule alias_module modules/mod_alias.so
LoadModule allowmethods_module modules/mod_allowmethods.so
LoadModule auth_basic_module modules/mod_auth_basic.so
...省略...

查看静态编译的模块:httpd -l

查看静态编译及动态装载的模块:httpd -M

[root@node2 httpd]#rpm -ql httpd|grep basic
/usr/lib64/httpd/modules/mod_auth_basic.so
[root@node2 httpd]#httpd -M|grep basic
auth_basic_module (shared)


[root@node2 conf.modules.d]#vim 00-base.conf
#将第10行 的 basic  模块  注释就看不到了
10 LoadModule auth_basic_module modules/mod_auth_basic.so

3.7 MPM (Multi-Processing Module)多路处理模块

httpd 支持三种MPM工作模式:prefork, worker, event

修改

[root@centos7 ~]#vim /etc/httpd/conf.modules.d/00-mpm.conf
[root@centos7 ~]#grep Load /etc/httpd/conf.modules.d/00-mpm.conf 
# one of the following LoadModule lines. See the httpd.conf(5) man
LoadModule mpm_prefork_module modules/mod_mpm_prefork.so
#LoadModule mpm_worker_module modules/mod_mpm_worker.so
#LoadModule mpm_event_module modules/mod_mpm_event.so
[root@centos7 ~]#httpd -M | grep mpm
AH00558: httpd: Could not reliably determine the server's fully qualified domain 
name, using centos8.localdomain. Set the 'ServerName' directive globally to 
suppress this message
 mpm_prefork_module (shared)

3.8 prefork模式相关的配置

StartServers       100
MinSpareServers   50
MaxSpareServers   80
ServerLimit     2560 #最多进程数,最大值 20000
MaxRequestWorkers    2560 #最大的并发连接数,默认256
MaxConnectionsPerChild  4000 #子进程最多能处理的请求数量。在处理MaxRequestsPerChild 个
请求之后,子进程将会被父进程终止,这时候子进程占用的内存就会释放(为0时永远不释放)
MaxRequestsPerChild 4000  #从 httpd.2.3.9开始被MaxConnectionsPerChild代替

3.9 worker和event 模式相关的配置

ServerLimit         16  #最多worker进程数 Upper limit on configurable number of 
processes
StartServers        10  #Number of child server processes created at startup
MaxRequestWorkers  150  #Maximum number of connections that will be processed 
simultaneously
MinSpareThreads     25
MaxSpareThreads     75
ThreadsPerChild     25  #Number of threads created by each child process

3.10 定义Main server的文档页面路径

DocumentRoot   "/path”
<directory /path>
 Require all granted
</directory>

说明:

  • DocumentRoot指向的路径为URL路径的起始位置

  • /path 必须显式授权后才可以访问

范例:

DocumentRoot "/data/html"
<directory /data/html>
 Require all granted
</directory>
#URL和磁盘路径的映射关系
http://HOST:PORT/test/index.html  --> /data/html/test/index.html

3.11 定义站点默认主页面文件

DirectoryIndex index.php index.html

3.12虚拟主机

httpd 支持在一台物理主机上实现多个网站,即多虚拟主机

网站的唯一标识:

  • IP相同,但端口不同

  • IP不同,但端口均为默认端口

  • FQDN不同, IP和端口都相同

多虚拟主机有三种实现方案:

  • 基于ip:为每个虚拟主机准备至少一个ip地址

  • 基于port:为每个虚拟主机使用至少一个独立的port

  • 基于FQDN:为每个虚拟主机使用至少一个FQDN,请求报文中首部 Host:www.kgc.com

3.12.1 基于ip地址

实际操作

[root@node2 conf.d]#vim /etc/httpd/conf.d/test.conf 
<VirtualHost 192.168.91.101:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>



<VirtualHost 192.168.91.188:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ServerAlias www.dummy-host.example.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>


<Directory "/var/www">
    AllowOverride None
    # Allow open access:
    Require all granted
</Directory>


[root@localhost extra]#vim /etc/httpd/conf/httpd.conf
Listen 192.168.91.101:80
Listen 192.168.91.188:80

3.12.2 基于端口地址

[root@node2 conf.d]#vim /etc/httpd/conf.d/test.conf 

<VirtualHost 192.168.91.101:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>



<VirtualHost 192.168.91.101:8080>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ServerAlias www.dummy-host.example.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>


<Directory "/var/www">
    AllowOverride None
    # Allow open access:
    Require all granted
</Directory>


[root@localhost extra]#vim /etc/httpd/conf/httpd.conf
Listen 192.168.91.101:80
Listen 192.168.91.188:80

3.12.3 基于域名

[root@node2 conf.d]#vim /etc/httpd/conf.d/test.conf 
<VirtualHost 192.168.91.101:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/kgc"
    ServerName www.kgc.com
    ErrorLog "logs/www.kgc.com_error_log"
    CustomLog "logs/www.kgc.com_access_log" common
</VirtualHost>



<VirtualHost 192.168.91.101:80>
    ServerAdmin support@jfedu.net
    DocumentRoot "/var/www/html/accp"
    ServerName www.accp.com
    ServerAlias www.dummy-host.example.com
    ErrorLog "logs/www.accp.com_error_log"
    CustomLog "logs/www.accp.com_access_log" common
</VirtualHost>


<Directory "/var/www">
    AllowOverride None
    # Allow open access:
    Require all granted
</Directory>


mkdir -p /var/www/html/kgc
mkdir -p /var/www/html/accp
echo "<h1>www.kgc.com</h1>" /var/www/html/kgc/index.html
echo "<h1>www.accp.com</h1>" /var/www/html/accp/index.html



去添加host文件

4、cookie与session

名称简述:

无状态协议是指协议对事物处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息,则必须重传,这样可能导致每次连接传送的数据量增大。另一方面,在服务器不需要先前信息时它应答就很快。

HTTP是超本文传输协议,顾名思义,这个协议支持超文本的传输。什么是超文本?说白了就是使用HTML编写的页面。通常,我们使用客户端浏览器访问服务器的资源,最常见的URL也是以html为后缀的文件,因此可以说超文本是网络上最主要的资源。

既然HTTP协议的目的是在于支持超文本的传输,也就是资源的传输,那么客户端浏览器向HTTP服务器发送请求,继而HTTP服务器将相信资源发回给客户端这样一个过程中,无论对于客户端还是服务器,都没有必要记录这个过程,因为每一次请求和响应都是相对独立的,一般而言,一个URL对应着一个唯一的超文本,正是因为这样的唯一性,使得记录用户的行为状态变得毫无意义,所以,HTTP协议被设计为无状态的连接协议符合它本身的需求。

很多场景都需要保留会话数据,这时需要会话管理机制。

会话管理: 管理浏览器客户端和服务器端之间会话过程中产生的会话数据。

为了会话管理,HTTP就需要传输大量重复信息内容的问题,造成大量的网络带宽消耗。于是 Cookie 和Session 技术闪亮登场了,它们可以为用户进行会话管理,实现保存状态。

Cookie

 

#第一次请求过程
浏览器第一次发送请求时,不会携带任何cookie信息
服务器接收到请求之后,发现请求中没有任何cookie信息
服务器生成和设置一个cookie.并将此cookie设置通过set_cookie的首部字段保存在响应报文中返回给浏览器
浏览器接收到这个响应报文之后,发现里面有cookie信息,浏览器会将cookie信息保存起来
#第二次及其之后的过程
当浏览器第二次及其之后的请求报文中自动 cookie的首部字段携带第一次响应报文中获取的cookie信息
服务器再次接收到请求之后,

Cookie主要用于以下三个方面:

  • 会话状态管理(如用户登录状态、购物车、游戏分数或其它需要记录的信息)

  • 个性化设置(如用户自定义设置、主题等)

  • 浏览器行为跟踪(如跟踪分析用户行为等)

session

 

cookie和session的相同和不同:

  • cookie通常是在服务器生成,但也可以在客户端生成,session是在服务器端生成的

  • session 将数据信息保存在服务器端,可以是内存,文件,数据库等多种形式,cookie 将数据保存在客户端的内存或文件中

  • 单个cookie保存的数据不能超过4K,每个站点cookie个数有限制,比如IE8为50个、Firefox为50个、Opera为30个;session存储在服务器,没有容量限制

  • cookie存放在用户本地,可以被轻松访问和修改,安全性不高;session存储于服务器,比较安全

  • cookie有会话cookie持久cookie,生命周期为浏览器会话期的会话cookie保存在缓存,关闭浏览器窗口就消失,持久cookie被保存在硬盘,知道超过设定的过期时间;随着服务端session存储压力增大,会根据需要定期清理session数据

  • session中有众多数据,只将sessionID这一项可以通过cookie发送至客户端进行保留,客户端下次访问时,在请求报文中的cookie会自动携带sessionID,从而和服务器上的的session进行关联

cookie缺点:

  1. 使用cookie来传递信息,随着cookie个数的增多和访问量的增加,它占用的网络带宽也很大,试想假如cookie占用200字节,如果一天的PV有几个亿,那么它要占用多少带宽?

  2. cookie并不安全,因为cookie是存放在客户端的,所以这些cookie可以被访问到,设置可以通过插件添加、修改cookie。所以从这个角度来说,我们要使用sesssion,session是将数据保存在服务端的,只是通过cookie传递一个sessionId而已,所以session更适合存储用户隐私和重要的数据

session 缺点:

  1. 不容易在多台服务器之间共享,可以使用session绑定,session复制,session共享解决

  2. session存放在服务器中,所以session如果太多会非常消耗服务器的性能cookie和session各有优缺点,在大型互联网系统中,单独使用cookie和session都是不可行的

5、web相关工具

5.1 Weget相关工具

#格式:
wget [OPTION]... [URL]...
#常用选项:
-q 静默模式
-c 断点续传
-P /path 保存在指定目录
-O filename 保存为指定文件名,filename 为 - 时,发送至标准输出
--limit-rate= 指定传输速率,单位K,M等

例子:

[root@centos7 ~]#wget --limit-rate 1M -P /data https://mirrors.aliyun.com/centos/8/isos/x86_64/CentOS-8-x86_64-1905-dvd1.iso

5.2 curl

curl [options] [URL...]
-A/--user-agent <string> 设置用户代理发送给服务器
-e/--referer <URL> 来源网址
--cacert <file> CA证书 (SSL)
-k/--insecure   允许忽略证书进行 SSL 连接
--compressed 要求返回是压缩的格式
-H/--header "key:value” 自定义首部字段传递给服务器
-i 显示页面内容,包括报文首部信息
-I/--head 只显示响应报文首部信息
-D/--dump-header <file>将url的header信息存放在指定文件中
--basic 使用HTTP基本认证
-u/--user <user[:password]>设置服务器的用户和密码
-L   如果有3xx响应码,重新发请求到新位置
-O 使用URL中默认的文件名保存文件到本地
-o <file> 将网络文件保存为指定的文件中
--limit-rate <rate> 设置传输速度
-0/--http1.0 数字0,使用HTTP 1.0
-v/--verbose 更详细
-C 选项可对文件使用断点续传功能
-c/--cookie-jar <file name> 将url中cookie存放在指定文件中
-x/--proxy <proxyhost[:port]> 指定代理服务器地址
-X/--request <command> 向服务器发送指定请求方法
-U/--proxy-user <user:password> 代理服务器用户和密码
-T 选项可将指定的本地文件上传到FTP服务器上
--data/-d 方式指定使用POST方式传递数据
-s --silent   Silent mode
-b name=data 从服务器响应set-cookie得到值,返回给服务器
-w <format> 显示相应的指定的报文信息,如:%{http_code},%{remote_ip}等
-m, --max-time <time> 允许最大传输时间

例子:

[root@centos7 ~]#curl -I http://www.163.com
HTTP/1.1 403 Forbidden
Date: Thu, 12 Dec 2019 01:18:11 GMT
Content-Type: text/html
Content-Length: 234
Connection: keep-alive
Server: web cache
Expires: Thu, 12 Dec 2019 01:18:11 GMT
X-Ser: BC14_lt-tianjin-tianjin-3-cache-3
Cache-Control: no-cache,no-store,private
cdn-user-ip: 123.118.223.243
cdn-ip: 125.39.21.14
X-Cache-Remote: HIT
cdn-source: baishan


curl -s -I -m10 -o /dev/null   -w %{http_code} http://www.baidu.com/
curl -s -I -m10 -o /dev/null   -w %{remote_ip} http://www.baidu.com/
curl -s -I -m10 -o /dev/null   -w %{local_ip} http://www.baidu.com/
curl -s -I -m10 -o /dev/null   -w %{local_port} http://www.baidu.com/
curl -s -I -m10 -o /dev/null   -w %{remote_port} http://www.baidu.com/



[root@localhost ~]#curl www.163.com -vA chrome
#冒充  chrome  浏览器

5.3 压力测试工具

httpd的压力测试工具:

  • ab, webbench, http_load, seige

  • Jmeter 开源

  • Loadrunner 商业,有相关认证

  • tcpcopy:网易,复制生产环境中的真实请求,并将之保存

ab 来自httpd-tools包

命令格式:

ab [OPTIONS] URL


-n:总请求数
-c:模拟的并发数
-k:以持久连接模式测试

 

 

posted @   Bacolate  阅读(19)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
点击右上角即可分享
微信分享提示