摘要: 1、规范化URL 将URL转化为标准形式避免语法上的别名 2、广度优先的爬行 3、节流 限制一段时间机器人可以从一个web站点的页面数量 4、限制URL的大小 机器人会拒绝爬行超出特定长度的(通常是1kb)的URL。 5、URL/站点黑名单 维护一个与机器人环路和陷阱想对应的已知站点及URL列表。 阅读全文
posted @ 2018-01-17 14:46 Always_July 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 《深入浅出MyBatis技术原理与实战》p150页 SqlSession内部运行图 四大对象在流程中的操作。 1.准备sql。StatementHandler 的prepare方法进行sql预编译。 2.设置参数。ParameterHandler设置参数。 3.执行。Executor 执行sql。 阅读全文
posted @ 2018-01-17 14:20 Always_July 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 为什么会有cookie呢,这就要说一下Http协议了。 Http是一个无连接,无状态的协议。(什么是无连接?什么是无状态?)如何理解HTTP协议的“无连接,无状态”特点 无连接:无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求,并收到客户的应答后,即断开连接。采用这种方式可以节省传输 阅读全文
posted @ 2018-01-17 11:15 Always_July 阅读(226) 评论(0) 推荐(0) 编辑