03 2021 档案
摘要：在使用 service nginx status 命令查看 nginx 的运行状态时，提示：Can't open PID file /var/run/nginx.pid (yet?) after start: No such file or directory 导致 nginx 服务关闭，服务不可用
阅读全文
摘要：在 nginx 的配置文件 nginx.conf 中添加如下配置 server { listen 8080; server_name localhost; location /shanghai { proxy_pass http://www.shanghai.gov.cn/; } location
阅读全文
摘要：创建如下所示的目录，并在相应的文件中写入相应的内容，简单模拟三个不同的服务 在 Nginx 的配置文件中添加所示的代理配置 server { listen 8081; server_name localhost; location / { root /data/servers/8081; index
阅读全文
摘要：Lua 脚本在 Nginx 中基本的使用方式有三种：指令方式、脚本文件、函数（语句块）方式，相应的简单示例源码如下所示： # 使用 Lua 指令方式 location /lua_command { default_type 'text/plain'; content_by_lua 'ngx.say(
阅读全文
摘要：在 /etc/bashrc 或 ~/.bashrc 中添加如下所示的环境变量配置 export NGINX_HOME=/opt/work/nginx export PATH=$NGINX_HOME/sbin: 然后使用 source 命令使配置生效 # 对所有用户生效 source /etc/bas
阅读全文
摘要：从 Nginx 的官网获取 nginx 的默认启动配置初始脚本，如下所示，并保存为 /etc/init.d/nginx #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15
阅读全文
摘要：话不多说，简单安装脚本源码如下所示： #!/bin/bash # Author : Fan Fengping # Date : 2021-03-10 export SOF_PWD=`pwd` export NGX_HOM='/data/servers/nginx' export LUA_JIT='L
阅读全文
摘要：Centos Shell 安装后启动时提示找不到 lua 模块的 libluajit-5.1.so.2 文件，具体提示信息：./nginx: error while loading shared libraries: libluajit-5.1.so.2: cannot open shared ob
阅读全文
摘要：废话不说，python requests 使用代理非常简单，只需在请求时，使用 proxies 指定代理即可，简单示例代码如下所示： # encoding:utf-8 import requests def requests_proxy(): proxy = '127.0.0.1:8081' pro
阅读全文
摘要：在编写 python 爬虫时，经常会遇到需要填写 User-Agent 请求头信息参数，若长时间使用一个请求头，并频繁的请求信息，会被服务器认定为爬虫，从而主动断开连接，导致 python 爬虫的失败。 因而在请求信息时，需要不定期的更换相应的请求头信息，使用 random.choice 方法可以从
阅读全文
摘要：python 中 random 用于生成伪随机数或随机选择数据，常见的使用方法代码示例如下 # encoding:utf-8 import random import stringdef random_demo(): print('随机选取 0 - 9 之间的整数，random.randrange(
阅读全文
摘要：编写自动化安装脚本或部署应用的初始化脚本时，通常需要判断软件是否已经安装，通过如下方法，可进行初步的软件安装判断，shell 示例脚本如下所示： #!/bin/bash IS_INSTALLED=? -eq 0 ] then echo 'ins
阅读全文
摘要：因网站实现不同，通常响应数据的编码会存在差异，导致在使用 requests 访问网站或接口获取响应结果时，获取的响应结果显示乱码，如下所示： 请求发出后，Requests 会基于 HTTP 头部对响应的编码作出有根据的推测，并使用其推测的文本编码 r.encoding 自动解码来自服务器的内容，因而
阅读全文
摘要：在使用requests访问HTTPS网站，使用 verify=False参数关闭SSL验证后，requests会发出安全警告信息，如下图所示： 进入告警信息提示链接可知，可通过 urllib3.disable_warnings() 隐藏告警信息，并且可通过设置日志模块 logging.capture
阅读全文
摘要：Linux系统中，使用如下命令可快速去除文件或数据集中的重复行 sort -k2n {file} | uniq > a.out 方便对数据的后续处理。比如遍历行数据，统计去重后的数据量等
阅读全文
摘要：在使用 requests 访问htts请求：https:www.baidu.com 时，报错信息如下： 请求代码如下所示： # encoding:utf-8 import requests def baidu(): r = requests.get('https://www.baidu.com')
阅读全文
摘要：在学习爬虫时，爬虫报了如下类型的错误，即被远程主机强制关闭了链接。 分析原因： 频繁的请求服务器，导致服务器发爬虫的怀疑，被网站认定为攻击行为，最终抛出 10054异常。 解决方法： 1、在各个请求之间添加随机延时等待； 2、每次请求数据处理完成后，使用 response.close() 关闭； 3
阅读全文
