摘要:
一、网络爬虫相关概念 网络爬虫介绍 我们都知道,当前我们所处的时代是大数据的时代,在大数据时代,要进行数据分析,首先要有数据源,而学习爬虫,可以让我们获取更多的数据源,并且这些数据源可以按我们的目的进行采集。 优酷推出的火星情报局就是基于网络爬虫和数据分析制作完成的。其中每期的节目话题都是从相关热门 阅读全文
摘要:
一、问题无法ssh直接连接到服务器 二、问题原因及解决方法 sshd的配置,自己的IP地址没有加入到hosts.allow配置文件中,而hosts.deny则拒绝了除allow外的所有主机登录。 解决方法:把自己的IP地址加入到hosts.allow文件中,并重启sshd服务。 阅读全文
摘要:
一、概述 除nginx官网源码提供的各种模板,nginx还有第三方模块。官方文档中也列出了nginx的很多第三方模块,除官网之外,还有很多的有用的模块也能在Github上找到。 官网第三方模块地址:https://www.nginx.com/resources/wiki/modules/ 公司前端使 阅读全文
摘要:
一、strace命令常用参数 strace -tt -T -v -f -e trace=file -o /data/log/strace.log -s 1024 -p 23489 -tt 在每行输出的前面,显示毫秒级别的时间 -T 显示每次系统调用所花费的时间 -v 对于某些相关调用,把完整的环境变 阅读全文
摘要:
一、清除原因 因为之前打开了慢查询,导致此表越来越大达到47G,导致磁盘快被占满,使用xtrabackup进行备份的时候文件也超大。 现在备份之前的文件夹大小只有3.1G,备份后大小3.3G,使用mysqldump逻辑备份数据库为234M。 二、清理show_log的方法 三、相关参数 阅读全文
摘要:
一、序列化需求 假如有一个其它语言编写很大的字典,通过网络传输协作开发,使用前需要转换成字典。 二、使用json模块,适用于所有语言 2.1 dumps和loads主要用于网络传输;将重要的数据变成可以传输的,并且得到后能够反解出来。 2.2 dump和load用于写入文件操作 阅读全文
摘要:
一、需求 之前使用的邮件告警,由于经常会忽略邮件,所以有时候告警查看的并不及时,所以增加短信告警的,以便及时处理。 二、zabbix-server端的配置 三、在zabbix-web界面进行配置 3.1 先配置报警媒介类型 3.2 配置接收告警的用户信息 3.3 配置告警动作 阅读全文
摘要:
rabbitmq_delayed_message_exchange插件主要是实现延迟队列 一、下载插件 下载地址:http://www.rabbitmq.com/community-plugins.html 二、安装插件 阅读全文
摘要:
一、报错信息 无法连接电话簿项目,如下图: 二、解决方法: 需要注意的是,执行完重置命令后,以前添加的临时路由也都被删除了,需要重新配置。 需要注意的是,执行完重置命令后,以前添加的临时路由也都被删除了,需要重新配置。 需要注意的是,执行完重置命令后,以前添加的临时路由也都被删除了,需要重新配置。 阅读全文
摘要:
一、服务介绍 keepalive起初是专为LVS设计的,专门用来监控LVS集群系统红各个服务节点的状态,后来又加入了VRRP的功能,因此不了配合LVS服务外,也可以作为其他服务(nginx,haproxy)的高可用软件,VRRP是virtual router redundancy protocol( 阅读全文