摘要：
昨日内容回顾 1. 简述flask上下文管理 - threading.local - 偏函数 - 栈 2. 原生SQL和ORM有什么优缺点？ 开发效率： ORM > 原生SQL 执行效率： 原生SQL> ORM 如：SQLAlchemy依赖pymysql 3. SQLAlchemy多线程连接的情况 阅读全文
摘要：
一、flask之应用上下文 由于时间关系，详细过程略... 草稿图 参考链接： http://www.cnblogs.com/zhaopanpan/p/9457343.html 总结： 上下文管理（应用上下文） 关键点 请求上线文: ctx = RequestContext(request/sess 阅读全文
摘要：
一、RabbitMQ 队列 在生产者消费模型中，比如去餐馆吃饭的例子。生产者相当于厨师，队列相当于服务员，消费者就是你。 我们必须通过服务员，才能吃饭！ 如果队列满了，队列会一直hold住。必须让消费者，获取一个，队列才能解除hold状态。 队列本身就有一个锁，保证数据安全 举例： import q 阅读全文
摘要：
昨日内容回顾 flask和django对比 flask和django本质是一样的，都是web框架。 但是django自带了一些组件，flask虽然自带的组件比较少，但是它有很多的第三方插件。 那么在什么情况下，使用flask呢？ 比如让flask写一个大型项目，它需要很多第三方插件。那么堆着堆着，就 阅读全文
摘要：
昨日内容拾遗 打开昨天写的DianShang项目，查看items.py 这里的AmazonItem类名，可以随意。这里定义的3个属性，和spiders\amazon.py定义的3个key，是一一对应的 查看 pipelines.py 如果有from_crawler方法，它会优先执行！之后再执行__i 阅读全文
摘要：
一、scrapy框架简介 1. 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数 阅读全文
摘要：
一、Selenium 简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 安装 1 阅读全文
摘要：
一、BeautifulSoup 1. 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档 阅读全文
摘要：
一、爬虫系列之第1章-requests模块 爬虫简介 概述 近年来，随着网络应用的逐渐扩展和深入，如何高效的获取网上数据成为了无数公司和个人的追求，在大数据时代，谁掌握了更多的数据，谁就可以获得更高的利益，而网络爬虫是其中最为常用的一种从网上爬取数据的手段。 网络爬虫，即Web Spider，是一个 阅读全文
摘要：
先下载github代码，下面的操作，都是基于这个版本来的！ https://github.com/987334176/Intelligent_toy/archive/v1.6.zip 注意：由于涉及到版权问题，此附件没有图片和音乐。请参考链接，手动采集一下！ 请参考链接： https://www.c 阅读全文