Cool· - 博客园

2018年1月30日

摘要：一介绍原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址）所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul 阅读全文

posted @ 2018-01-30 16:36 Cool· 阅读(1513) 评论(0) 推荐(0) 编辑

python-爬虫框架scrapy

摘要：一介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文

posted @ 2018-01-30 16:35 Cool· 阅读(318) 评论(0) 推荐(0) 编辑

2018年1月26日

前端VUE框架-es6

摘要： EMCAScript 6 又叫 es2015 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script> const a = "hello"; console.log(a); 阅读全文

posted @ 2018-01-26 16:02 Cool· 阅读(390) 评论(0) 推荐(0) 编辑

2018年1月25日

前端VUE框架

摘要：一、什么是VUE？它是一个构建用户界面的JAVASCRIPt框架 vue不关心你页面上的是什么标签，它操作的是变量或属性为什么要使用VUE？在前后端分离的时候，后端只返回json数据，再没有render方法，前端发送ajax请求（api=url）得到数据后，要在页面渲染数据，如果你js+css 阅读全文

posted @ 2018-01-25 16:09 Cool· 阅读(1583) 评论(0) 推荐(0) 编辑

2018年1月23日

python-爬虫性能相关

摘要：一背景知识爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的阅读全文

posted @ 2018-01-23 19:11 Cool· 阅读(252) 评论(0) 推荐(0) 编辑

2018年1月22日

python-flask-wtforms组件流程源码

摘要：在最开始要弄明白一点，类都是由元类创建的。在定义类 class Foo：pass的时候（类也是对象），就会执行type类或者type派生类的__init__方法，当Foo（）时：执行type类或者type派生类的__call__方法，在__call__方法中调用了Foo类的__new__方法创建了一阅读全文

posted @ 2018-01-22 20:28 Cool· 阅读(1005) 评论(0) 推荐(0) 编辑

python-mongodb基本操作都在这了

摘要：数据库增 use db1 #有则切换，无则新增查 show dbs #查看所有 db #当前删 db.dropDatabase() 集合：增: db.user db.user.info db.user.auth 查看 ... 阅读全文

posted @ 2018-01-22 16:34 Cool· 阅读(12600) 评论(0) 推荐(0) 编辑

2018年1月19日

python-MongoDB 非关系型数据库

摘要：一简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 2、易扩展性 3、丰富的功能 4、卓越的性能二 MongoDB基础知识 ,MongoDB默认是 utf-8 编码 1、文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3 阅读全文

posted @ 2018-01-19 19:28 Cool· 阅读(1016) 评论(0) 推荐(0) 编辑

python-爬虫-Beautifulsoup模块

摘要：一介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间下表列出了主要的解析器,以及它们的优缺点,官网推荐使用lxml作为解析阅读全文

posted @ 2018-01-19 19:26 Cool· 阅读(226) 评论(0) 推荐(0) 编辑

python-flask-路由匹配源码分析

摘要：第1步：第1.2步：第1.2.1步：第1.2.8步：第1.2.8.1步：第1.2.8.2步：第1.2.8.2.1步：看不懂，猜里面是把url进行了re正则处理到此为止：路由规则列表里新增了一条绑定正则的rule ；{"别名"：rule} ；{"别名"：被装饰的函数名} 阅读全文

posted @ 2018-01-19 17:41 Cool· 阅读(881) 评论(0) 推荐(0) 编辑

Cool

公告