01 2018 档案

python-分布式爬虫
摘要：一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul 阅读全文
posted @ 2018-01-30 16:36 Cool· 阅读(1518) 评论(0) 推荐(0) 编辑
python-爬虫框架scrapy
摘要：一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
posted @ 2018-01-30 16:35 Cool· 阅读(320) 评论(0) 推荐(0) 编辑
前端VUE框架-es6
摘要：EMCAScript 6 又叫 es2015 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script> const a = "hello"; console.log(a); 阅读全文
posted @ 2018-01-26 16:02 Cool· 阅读(395) 评论(0) 推荐(0) 编辑
前端VUE框架
摘要：一、什么是VUE？ 它是一个构建用户界面的JAVASCRIPt框架 vue不关心你页面上的是什么标签，它操作的是变量或属性 为什么要使用VUE？ 在前后端分离的时候，后端只返回json数据，再没有render方法，前端发送ajax请求（api=url）得到数据后，要在页面渲染数据，如果你js+css 阅读全文
posted @ 2018-01-25 16:09 Cool· 阅读(1591) 评论(0) 推荐(0) 编辑
python-爬虫性能相关
摘要：一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 阅读全文
posted @ 2018-01-23 19:11 Cool· 阅读(254) 评论(0) 推荐(0) 编辑
python-flask-wtforms组件流程源码
摘要：在最开始要弄明白一点，类都是由元类创建的。在定义类 class Foo：pass的时候（类也是对象），就会执行type类或者type派生类的__init__方法，当Foo（）时：执行type类或者type派生类的__call__方法，在__call__方法中调用了Foo类的__new__方法创建了一 阅读全文
posted @ 2018-01-22 20:28 Cool· 阅读(1016) 评论(0) 推荐(0) 编辑
python-mongodb基本操作都在这了
摘要：数据库 增 use db1 #有则切换，无则新增 查 show dbs #查看所有 db #当前 删 db.dropDatabase() 集合： 增: db.user db.user.info db.user.auth 查看 ... 阅读全文
posted @ 2018-01-22 16:34 Cool· 阅读(12615) 评论(0) 推荐(0) 编辑
python-MongoDB 非关系型数据库
摘要：一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 2、易扩展性 3、丰富的功能 4、卓越的性能 二 MongoDB基础知识 ,MongoDB默认是 utf-8 编码 1、文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3 阅读全文
posted @ 2018-01-19 19:28 Cool· 阅读(1027) 评论(0) 推荐(0) 编辑
python-爬虫-Beautifulsoup模块
摘要：一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间 下表列出了主要的解析器,以及它们的优缺点,官网推荐使用lxml作为解析 阅读全文
posted @ 2018-01-19 19:26 Cool· 阅读(227) 评论(0) 推荐(0) 编辑
python-flask-路由匹配源码分析
摘要：第1步： 第1.2步： 第1.2.1步： 第1.2.8步： 第1.2.8.1步： 第1.2.8.2步： 第1.2.8.2.1步： 看不懂，猜里面是把url进行了re正则处理 到此为止： 路由规则列表里新增了一条绑定正则的rule ；{"别名"：rule} ；{"别名"：被装饰的函数名} 阅读全文
posted @ 2018-01-19 17:41 Cool· 阅读(887) 评论(0) 推荐(0) 编辑
python-flask-配置文件的源码分析
摘要：方式一：app.config['xx'] = 'xxx'源码分析：#第1步：class Flask(_PackageBoundObject): self.config = self.make_config(instance_relative_config) #第2步： def make_config(self, instance_relative=False): ... 阅读全文
posted @ 2018-01-19 16:49 Cool· 阅读(468) 评论(0) 推荐(0) 编辑
python-爬虫-selenium模块
摘要：一 介绍 官网：http://selenium-python.readthedocs.io 二 安装 #安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2 阅读全文
posted @ 2018-01-17 20:34 Cool· 阅读(1256) 评论(0) 推荐(0) 编辑
python-flask-请求源码流程
摘要：启动先执行manage.py 中的 app.run() 执行app()，对象()表示调用对象的__call__方法 又调用了app.wsgi_app方法 第1步：执行app.request_context方法，把请求的相关信息传进去了 返回了一个RequestContext类的实例对象 在init构 阅读全文
posted @ 2018-01-17 17:36 Cool· 阅读(700) 评论(0) 推荐(0) 编辑
python-爬虫
摘要：1.爬虫的定义： 向网站发起请求，获取资源后分析并提取有用数据的程序 2.爬虫的基本流程： 3.格式： 4.简单示例： import requests #pip3 install requests import re import hashlib import time movie_path=r'C 阅读全文
posted @ 2018-01-16 16:30 Cool· 阅读(301) 评论(0) 推荐(0) 编辑
python-flask-Flask-SQLAlchemy与Flask-Migrate联合进行数据化迁移
摘要：使用步骤： 阅读全文
posted @ 2018-01-16 15:50 Cool· 阅读(1472) 评论(0) 推荐(0) 编辑
python-flask-session和scoped_session区别
摘要：scoped_session from sqlalchemy.orm import sessionmaker from sqlalchemy import create_engine from sqlalchemy.orm import scoped_session engine = create_engine( ... 阅读全文
posted @ 2018-01-16 12:00 Cool· 阅读(1417) 评论(0) 推荐(0) 编辑
python-flask-SQLAlchemy-Utils组件
摘要：SQLAlchemy-Utils，提供choice功能 定义： # pip3 install sqlalchemy-utils from sqlalchemy_utils import ChoiceType Base = declarative_base() c... 阅读全文
posted @ 2018-01-16 11:21 Cool· 阅读(1086) 评论(0) 推荐(0) 编辑
python-flask基本应用模板
摘要：1.模板继承 2.连接数据库 3.应用flask-session 其他的正常操作就可以了 阅读全文
posted @ 2018-01-16 00:22 Cool· 阅读(1275) 评论(0) 推荐(0) 编辑
python-flask-SQLAlchemy
摘要：SQLAlchemy 一. 介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 pip3 install sqlalchemy 组成部分： 阅读全文
posted @ 2018-01-15 23:39 Cool· 阅读(816) 评论(0) 推荐(0) 编辑
python-flask-script定制manage命令
摘要：安装： pip3 install flask-script#!/usr/bin/env python # -*- coding:utf-8 -*- from flask_script import Manager, Server from flask import Flask app = Flask(__name__) manager = Manager(app) @manager.... 阅读全文
posted @ 2018-01-15 23:20 Cool· 阅读(2571) 评论(0) 推荐(1) 编辑
python-flask框架
摘要：1. flask知识点： - flask依赖wsgi，实现wsgi协议的模块：wsgiref(django),werkzeug,uwsgi 2.上下文管理 什么是上写文？ 上下文个人理解是：程序运行时相关的周围环境，flask里的上下文是指：在请求刚进来的时候把某个数据或者变量放到一个栈里，等你后面 阅读全文
posted @ 2018-01-10 16:42 Cool· 阅读(1597) 评论(0) 推荐(0) 编辑
python-flask-wtforms
摘要：<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <h1>登录</h1> <form method="post"> <!--<input type="t 阅读全文
posted @ 2018-01-09 20:02 Cool· 阅读(408) 评论(0) 推荐(0) 编辑
python-思路整理-虚拟环境
摘要：也可以在创建项目的时候选择用虚拟环境来开发，然后到环境内再安装你需要的模块 阅读全文
posted @ 2018-01-03 19:17 Cool· 阅读(157) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示