摘要： 爬取的数据一般需要提交给数据库，这里就介绍了三个主流数据库的连接(mysql,redis,mongodb),如果你的数据库服务器都放在liunx系统上首先要修改一下配置文件将bind 127.0.0.1修改为bind 0.0.0.0这样才能访问数据库。并且需要查看linux防火墙设置。如果开启要将其 阅读全文

摘要： selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击，下拉等操作，同时还可以获取浏览器当前呈现的页面源码，做到可见即可爬。常常被运用于爬取javascript动态渲染的页面。 下面是其简单用法： 通过浏览器发起请求获取响应页面源码数据然后利用xpath进行数据提取 fro 阅读全文

摘要： python3中用于模拟发起网络请求的模块有两个urllib模块和requests模块，由于requests模块相对于urllib模块来说更加简单便捷高效本文就只介绍requests模块。 环境安装： pip install requests GET请求： HTTP中最常见的请求之一就是GET请求， 阅读全文

摘要： 什么是爬虫： 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 爬虫究竟是合法还是违法的： 在法律中是不被禁止 具有违法风险 爬虫也分为善意爬虫和恶意爬虫 爬虫带来的风险可以体现在两方面：干扰了被访问者的正常运营或者是抓取到了法律保护的特定类型的数据或者信息。例如：用户信息，身份号， 阅读全文

摘要： MongoDB启动： 启动mongodb服务 --默认数据库文件的存放地址 c:/data/db --dbpath="E:/data/db" #自己制定路径 mongo 启动客户端 --默认连接 localhost:27017MongoDB是非关系型数据库 - NOSQL 文件型数据库 简单命令： 阅读全文

摘要： 在Linux上搭建redis集群时踩了不少坑在这里记录下来。首先要保证搭建的环境干净要不然很容易报错！！！ 创建存放集群配置文件的文件夹：mkdir /redis cd/ redis cp /opt//opt/redis-5.0.5/redis.conf redis6380.conf cp /opt 阅读全文

摘要： redis的主从复制相对于mysql的主从复制简单许多，只需要在从服务器上配置即可。 从服务器配置： grep -v '^$' redis.conf |grep -v '^#' >>redis6380.conf 创建从服务器的配置文件 vim redis6380.conf #修改从服务器的配置文件 阅读全文

摘要： 下载： wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar 解压： tar xf MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar 安装： yum 阅读全文

摘要： 不废话直接上干货 安装： wget http://download.redis.io/releases/redis-5.0.5.tar.gz tar xf redis-5.0.5.tar.gz cd redis-5.0.5/ make 也可以直接用yum但要先配置epel源，由于centos系统没有 阅读全文

摘要： 这两天搭建主从耗费了我不少时间，出现的问题也很多。我这里搭建的是一主一从： 主服务器配置： vim /etc/my.cnfdatadir=/mydata/mysql socket=/mydata/mysql/mysql.sock server-id=1 log-bin=/mydata/log/mas 阅读全文