01 2018 档案

Flask 知识总结
摘要：阅读目录 第一篇：Flask基础知识介绍 第二篇：Flask扩展小结 第三篇：Flask 配置文件 第四篇：ORM、MySQL数据库连接池 第五篇：单例模式、蓝图Blueprint 第六篇：SQLALchemy基础知识 第七篇：wtfroms组件 阅读全文
posted @ 2018-01-26 20:17 Pythia丶陌乐 阅读(184) 评论(0) 推荐(0)
爬虫知识总结
摘要：阅读目录 第一篇：爬虫基本原理 第二篇：请求库之requests，selenium 第三篇：解析库之re、beautifulsoup、pyquery 第四篇：存储库之mongodb，redis，mysql 第五篇：爬虫高性能相关 第六篇：Scrapy框架 第七篇：分布式爬虫 参考资料：http:// 阅读全文
posted @ 2018-01-26 20:08 Pythia丶陌乐 阅读(149) 评论(0) 推荐(0)
分布式爬虫
摘要：一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul 阅读全文
posted @ 2018-01-26 19:37 Pythia丶陌乐 阅读(176) 评论(0) 推荐(0)
Python VUE 基础知识
摘要：一 什么是VUE 它是一个构建用户界面的JavaScript框架，自动生成(js,css,HTML文件) 二 如何使用VUE 1. 应用vues.js 2. 展示html 3. 建立vue对象 <!DOCTYPE html> <html lang="en"> <head> <meta charset 阅读全文
posted @ 2018-01-26 15:31 Pythia丶陌乐 阅读(1908) 评论(0) 推荐(0)
VUE 实现tab切换页面效果
摘要：一 163邮箱登录tab切换 二 实现效果 三 Tab切换多页面 四 Tab切换多页面效果 阅读全文
posted @ 2018-01-25 17:43 Pythia丶陌乐 阅读(35304) 评论(0) 推荐(0)
爬虫框架：scrapy
摘要：一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
posted @ 2018-01-23 15:19 Pythia丶陌乐 阅读(548) 评论(0) 推荐(0)
爬虫性能相关
摘要：一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 阅读全文
posted @ 2018-01-22 15:49 Pythia丶陌乐 阅读(213) 评论(0) 推荐(0)
MongoDB基础学习
摘要：一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 2、易扩展性 3、丰富的功能 4、卓越的性能 二 MongoDB基础知识 1、文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3}。类似于python中的有序字典。 2、 阅读全文
posted @ 2018-01-19 17:05 Pythia丶陌乐 阅读(267) 评论(0) 推荐(0)
Beautifulsoup模块
摘要：一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2018-01-19 17:01 Pythia丶陌乐 阅读(147) 评论(0) 推荐(0)
selenium模块
摘要：一 介绍 官网：http://selenium-python.readthedocs.io 二 安装 三 基本使用 四 选择器 一 基本用法 二 xpath 三 获取标签属性 from selenium import webdriver from selenium.webdriver import 阅读全文
posted @ 2018-01-18 18:50 Pythia丶陌乐 阅读(240) 评论(0) 推荐(0)
爬虫 requests模块高级用法
摘要：一 介绍 官网链接：http://docs.python-requests.org/en/master/ 二 基于GET请求 1、基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容 import requests response=requ 阅读全文
posted @ 2018-01-17 16:08 Pythia丶陌乐 阅读(5552) 评论(0) 推荐(0)
爬虫基本原理
摘要：一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 1 from urllib.parse import urlencode 2 import requests 3 4 headers={ 5 'Accept':'text/html,application/xhtml+xml,a 阅读全文
posted @ 2018-01-16 16:39 Pythia丶陌乐 阅读(1171) 评论(0) 推荐(0)
Python Flask wtfroms组件
摘要：简介 WTForms是一个支持多个web框架的form组件，主要用于对用户请求数据进行验证。 安装： 用户登录注册示例 1. 用户登录 当用户登录时候，需要对用户提交的用户名和密码进行多种格式校验。如： 用户不能为空；用户长度必须大于6； 用户不能为空；用户长度必须大于6； 密码不能为空；密码长度必 阅读全文
posted @ 2018-01-11 19:10 Pythia丶陌乐 阅读(312) 评论(0) 推荐(0)
Python Flask SQLALchemy基础知识
摘要：一、介绍 Engine，框架的引擎 Connection Pooling ，数据库连接池 Dialect，选择连接数据库的DB API种类 Schema/Types，架构和类型 SQL Exprression Language，SQL表达式语言 二、使用 1 #!/usr/bin/env pytho 阅读全文
posted @ 2018-01-11 15:19 Pythia丶陌乐 阅读(12219) 评论(0) 推荐(0)
Python 什么是ORM?
摘要：关系映射 性能比源生sql效率略差一些 操作性更简单，快捷 Django的orm和sqlalchamy 区别 sqlalchamy没有django的功能全，不支持双下划线的连表跨表操作 sqlalchamy跟接近sql语句 比如django更简单，支持双下划线的连表操作 sqlalchemy没法生成 阅读全文
posted @ 2018-01-11 11:30 Pythia丶陌乐 阅读(1097) 评论(0) 推荐(0)
Python Flask 蓝图Blueprint
摘要：1. 目录结构 2. manage.py类似于django中manage 3. fcrm下面的__init__.py文件 3. fcrm.view目录下面的account和order模块 阅读全文
posted @ 2018-01-10 17:16 Pythia丶陌乐 阅读(2752) 评论(0) 推荐(0)
Python中的单例模式思路
只有注册用户登录后才能阅读该文。
posted @ 2018-01-09 19:11 Pythia丶陌乐
Python Flask数据库连接池
摘要：1. 安装pymysql 2. 安装dbutils开源工具库 3. 模式一： 4. 模式二： 阅读全文
posted @ 2018-01-05 19:07 Pythia丶陌乐 阅读(2603) 评论(0) 推荐(0)
Python Flask 配置文件
摘要：1. 什么是配置文件？ 2. 使用配置文件 3. 配置文件 4. 项目案例： 5. MSG配置参数 6. 测试结果 阅读全文
posted @ 2018-01-05 17:08 Pythia丶陌乐 阅读(3465) 评论(0) 推荐(0)
Flask 通过扩展来实现登录验证
摘要：1. flask扩展 说明： flask的扩展类似于python中的装饰器，和Django中的process_request的方法也类似 测试代码 在浏览器中访问index结果： 实际使用案例： #!/usr/bin/env python # -*- coding:utf-8 -*- # Autho 阅读全文
posted @ 2018-01-04 15:51 Pythia丶陌乐 阅读(1218) 评论(0) 推荐(1)
Flask 的系统学习
摘要：详细看地址： http://www.cnblogs.com/wupeiqi/articles/7552008.html 一. 说明 一. 基本使用 二、配置文件 flask中的配置文件是一个flask.config.Config对象（继承字典）,默认配置为： { 'DEBUG': get_debug 阅读全文
posted @ 2018-01-04 15:13 Pythia丶陌乐 阅读(329) 评论(0) 推荐(0)
Python Flask装饰器登录验证
摘要：上面方面使用装饰器会有一个弊端： 为什么会出现这样的问题： 解决方法： from flask import Flask,render_template,redirect,request,session app = Flask(__name__) app.secret_key = "sdfasdfas 阅读全文
posted @ 2018-01-03 18:36 Pythia丶陌乐 阅读(4848) 评论(0) 推荐(0)
Django 批量导入文件
摘要：1. 按照xlrd软件 2. POST提交文件获取数据 方法一：写入硬盘，xlrd读取xlsx文件获取文件数据 方法二：不写入硬盘，写入内存，xlrd从内存中读取数据 打印数据： 3. xlsx文件测试数据 4. 项目示例 def batch_view(self,request): if reque 阅读全文
posted @ 2018-01-03 15:55 Pythia丶陌乐 阅读(929) 评论(0) 推荐(0)
Python 分页功能
摘要：自定义分页组件 2. 使用 阅读全文
posted @ 2018-01-03 15:48 Pythia丶陌乐 阅读(2054) 评论(0) 推荐(0)
Django 项目CRM总结
摘要：0. 项目说明： 1. 为什么开发CRM： 2. 开发周期 3. 技术点： - 表和字段 4.其他： 阅读全文
posted @ 2018-01-03 15:27 Pythia丶陌乐 阅读(1035) 评论(0) 推荐(0)