摘要：
总觉得自己博客园的博客已经要变成自己发泄自己情绪和不满的地方了，现在不像是技术本博客，就像是一本日记一眼，自己可以在博客的写作过程也就是不断的印证这自己的学习过程，自己学习是不是紧了或是松了都能在博客的写作态度之中看出来。 相关的知识自己涉及的不是很多，自己在这段时间里面的学习态度也是很差，自己已经 阅读全文
摘要：
一个网络蜘蛛就是一种机器人，或者软件代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。 主要内容 · 1 爬行策略 o 1.1 选择策略 § 1.1.1 阅读全文
摘要：
HTTP协议中文名称是超文本传输协议，是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式。请求和响应模式很好理解，客户端发送请求，服务器响应客户端的请求，就像学校食堂打菜一样，你和打菜阿姨说要哪份菜，她才会给你盛哪份菜 状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果 阅读全文
摘要：
User-Agent 出现在请求报头中，表示客户端的操作系统、浏览器型号版本等信息。服务器可以根据此报头向客户端返回不同的页面以适应客户端。有些网站(知乎)会校验此报头，不填写或者不主流的报头都不能拿到正常的页面。因此自己在写爬虫的时候最好将从浏览器中拷贝到代码中。 Cookie 出现在请求抱头中， 阅读全文
摘要：
单独的这样来说，时间过得真的是快，6月份已经开始过了一半的时间了，我想说的事情就是这件事情，自己的学习进度变得十分的缓慢，自己在爬虫方面耗费了大量的时间自己却没有做出一些比较有效果的成绩，这件事情和以前的事情相比，是自己学习方法的不对，而不是自己学习的问题。 网页分析算法可以归纳为基于网络拓扑、基于 阅读全文
摘要：
我在想的一件事情就是相关的问题关于自己的学习计划的问题，自己的学习计划不断的不能完成每一阶段的任务，真的是比较烦的一件事情。 分类：通用爬虫、聚焦爬虫、分布式爬虫 网络是一个有向图，所以搜索操作可以总结为对有向图的遍历。爬虫通过web页面的图结构从一个页面到另一个页面。 Google具有较少的垃圾结 阅读全文
摘要：
既然我们上面也说了，协程也被称为微线程，下面对比一下协程和线程： 线程之间需要上下文切换成本相对协程来说是比较高的，尤其在开启线程较多时，但协程的切换成本非常低。 同样的线程的切换更多的是靠操作系统来控制，而协程的执行由我们自己控制。 协程只是在单一的线程里不同的协程之间切换，其实和线程很像，线程是 阅读全文
摘要：
这段时间的学习总结在上面并不是十分的完善和全面，自己单独的去分析自己的学习的状态和学习的进度在自己当前的状态下面实在是有一些觉得尴尬 目前所要知道的：1 自己对学习编程语言还有当初的兴趣吗？就是当初那种强烈的兴趣？ 答案：有，而且当前的兴趣比以前的兴趣更加的强烈，这种兴趣不同于当初那种单纯只想通过编 阅读全文
摘要：
关于一段时间了里面的学习情况给的总结 关于和段时间里面学习python情况的总结，学习的时间也已经有好几个月了，但是自己学习的进度却是一直拖着，自己并不是按照自己原本的学习的时间和进度达到自己原本设想好好的学习效果。 同时自己在后面两个月的学习的时间段里面就是把自己相关知识的进步十分的差，也是因为自 阅读全文