摘要:
1、打开/etc/udev/rules.d/70-persistent-net.rules: 文件内容如图: 记录下eth1的MAC地址:00:50:56:39:db:ae 2、编辑网卡配置文件/etc/sysconfig/network-scripts/ifcfg-eth0 : 如图: 修改DEV 阅读全文
摘要:
keepalived_install.sh: 启动脚本进行安装: sh keepalived_install.sh 安装好后配置文件keepalived.conf在/etc/keepalived目录下。 阅读全文
摘要:
1、进入xshell或者terminal(此处以xshell为例),连接服务器(ssh root@主机IP地址) 2、获取Nginx安装包: 官网:https://nginx.org/en/download.html 3、使用wget命令下载Nginx包: 包不大,等着下载完就OK 查看下载的压缩包 阅读全文
摘要:
错误: 解决方案: 在/etc/sysconfig/network-scripts/ifcfg-eth0文件中配置DNS信息: 修改(新增DNS): 保存并退出编辑模式 查看修改是否生效: 重启网卡: 执行yum安装: 阅读全文
摘要:
scrapy_redis是一个基于redis的scrapy组件,通过它可以快速实现简单的分布式爬虫程序,该组件主要提供三大功能: (1)dupefilter——URL去重规则(被调度器使用) (2)scheduler——调度器 (3)pipeline——数据持久化 一、安装redis 去官网下载re 阅读全文
摘要:
redis.exceptions.ResponseError: MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may 阅读全文
摘要:
写好自己的爬虫项目之后,可以自己定制爬虫运行的命令。 一、单爬虫 在项目的根目录下新建一个py文件,如命名为start.py,写入如下代码: 运行start.py即可。 二、多爬虫运行 1、在spiders的同级目录创建文件夹,如commands; 2、在这个新建的文件夹下创建一个py文件,如命名为 阅读全文
摘要:
1、安装scrapy pip3 install scrapy 2、打开terminal,cd 到想要创建程序的目录下 3、创建一个scrapy项目 在终端输入:scrapy startproject my_first_scrapy(项目名) 4、在终端输入:cd my_first_scrapy 进入 阅读全文
摘要:
在通过requests.post()进行POST请求时,传入报文的参数有两个,一个是data,一个是json。 data与json既可以是str类型,也可以是dict类型。 区别: 1、不管json是str还是dict,如果不指定headers中的content-type,默认为applicatio 阅读全文
摘要:
错误信息: 解决方法: 找到出错语句: 去掉末尾那个逗号即可。 阅读全文