摘要: 软件环境:centos7 nginx-1.8.1 nginx下载地址:http://nginx.org/en/download.html 一、安装依赖软件 yum -y install gcc gcc-c++ autoconf automake make yum -y install zlib zl 阅读全文
posted @ 2018-02-27 10:45 不朽丶 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-02-23 17:46 不朽丶 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 1.下载路径 https://dev.mysql.com/downloads/mysql/ 有账号登陆下载, 没有账号:no thanks;just start my download 2.解压放到指定盘中 笔者:G:\Program Files\mysql-5.7.21-winx64 3.配置环境 阅读全文
posted @ 2018-02-23 11:48 不朽丶 阅读(16510) 评论(0) 推荐(0) 编辑
摘要: 随着业务的需求普通的springmvc+jsp已经不能满足我们的系统了,会逐渐把后台和前端展示分离开来,下面我们就来把普通的springmvc+jsp分为 springmvc只提供rest接口,前端用ajax请求接口渲染到html中。 后台提供接口是一个tomcat服务器 前台访问数据是nginx访 阅读全文
posted @ 2018-01-25 10:45 不朽丶 阅读(13409) 评论(0) 推荐(0) 编辑
摘要: 在使用springmvc开发rest接口的时候很方便,可以直接使用@ResponseBody注解,直接加在springmvc的控制器类的方法上,springmvc会直接为我们将返回的对象序列化成为json类型的数据, 但是有时候有的接口调用方需要我们直接返回jsonp类型的数据,这时候可能就会需要我 阅读全文
posted @ 2018-01-10 11:14 不朽丶 阅读(404) 评论(0) 推荐(0) 编辑
摘要: 安装redis: http://www.redis.cn/download.html 安装的前提条件: 需要安装gcc:yum install gcc-c++ 复制配置文件redis.conf 到安装目录 修改配置文件 daemonize yes 后台启动 requirepass redis 设置密 阅读全文
posted @ 2017-12-26 19:00 不朽丶 阅读(439) 评论(0) 推荐(0) 编辑
摘要: 首先我们新建一个Maven普通客户端项目,然后打开pom.xml 引入htmlunit支持: 然后我们写一个测试类,来解析www.baidu.com 获取网页html以及网页文本,这里有点类似httpClient,但是底层执行过程默认多了一个js执行过程(当然htmlunit提供了关闭js解析设置) 阅读全文
posted @ 2017-12-25 15:56 不朽丶 阅读(972) 评论(0) 推荐(0) 编辑
摘要: HttpClient连接超时及读取超时 httpClient在执行具体http请求时候 有一个连接的时间和读取内容的时间; HttpClient连接时间 所谓连接的时候 是HttpClient发送请求的地方开始到连接上目标url主机地址的时间,理论上是距离越短越快, 线路越通畅越快,但是由于路由复杂 阅读全文
posted @ 2017-12-25 15:36 不朽丶 阅读(8343) 评论(0) 推荐(0) 编辑
摘要: 在爬取网页的时候,有的目标站点有反爬虫机制,对于频繁访问站点以及规则性访问站点的行为,会采集屏蔽IP措施。 这时候,代理IP就派上用场了。 关于代理IP的话 也分几种 透明代理、匿名代理、混淆代理、高匿代理 1、透明代理(Transparent Proxy) REMOTE_ADDR = Proxy 阅读全文
posted @ 2017-12-25 15:34 不朽丶 阅读(506) 评论(0) 推荐(0) 编辑
摘要: HttpClient 这个框架主要用来请求第三方服务器,然后获取到网页,得到我们需要的数据; HttpClient设置请求头消息User-Agent模拟浏览器 比如我们请求 www.tuicool.com 首先建一个Maven项目,然后添加httpClient依赖,版本是4.5 创建demo01: 阅读全文
posted @ 2017-12-25 15:33 不朽丶 阅读(271) 评论(0) 推荐(0) 编辑
页脚