10 2018 档案
摘要：1.Python下tesseract的简单使用 2.网络下载验证码识别 3.tesserocr识别验证码
阅读全文
摘要：1.普通爬取数据 """普通爬取数据爬虫，只要有反爬，cookie就不是很稳定。并不利于数据爬取""" import requests import re from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows N
阅读全文
摘要：1.学习之前请下载chromedriver等之类的浏览器插件 """ 动态渲染页面页面抓取。 JavaScript除了可以Ajax直接获取数据之外，还可以通过计算生成，加密参数等形式 来更安全的获取数据。这些通过特别处理的数据我们很难找出规律直接Ajax去获取。 为了解决这些问题，我们可以直接使用模
阅读全文
摘要：1.普通下载 import requests import os import re from lxml import etree from urllib import request def get_detail(url): headers = { "User-Agent": "Mozilla/5
阅读全文
摘要：1.傻瓜安装失败请看下面方法 1.mongodb下载zip文件 2.解压到D或者E盘 3.创建mangodb文件夹，把mongodb自创建文件夹中的所有文件剪切到mongodb 4.此时目录结构D|E:\mongodb\bin等等文件 5.在D|E:\mongodb目录下创建data和log文件夹，
阅读全文
摘要：理解此篇请先看http://www.cnblogs.com/haiyan123/p/7445584.html """多线程下生产者消费者模型。定义：在同一进程，同一主线程下， 采用多线程完成多个任务的同时，各自数据保持干净整洁。即、花最少的时间 完成最多的任务""" import threading
阅读全文
摘要：1.csv的存储操作 """ csv两种写入操作 csv就是字符分隔的纯文本，字段间的分隔符是其他字符或字符串 csv写入之后的文件可以直接Excel打开 """ import csv def write_csv_demo(): headers = ["username", "age", "heig
阅读全文
摘要：1.如下内容，欲练此功，必先....正则 """古诗文爬取""" import requests import re def parse_page(url): rep = requests.get( url=url, headers={"user-agent": "Mozilla/5.0 (Wind
阅读全文
摘要：1.常用方法 from bs4 import BeautifulSoup html = """ <table class="tablelist" cellpadding="0" cellspacing="0"> <tr class="h"> <td class="l" width="374">职位名
阅读全文
摘要："""爬取豆瓣网站的信息""" import requests from lxml import etree # 请求头设置 headers = { "User-Agentv": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHT
阅读全文
摘要：1.MySQL数据库 - 引擎： - innodb - 支持事务 - 锁 - 行锁 - 表锁 - 示例： - 终端： begin; 加锁 select xx from xx for update; ...
阅读全文
摘要：1. 对于django来说，内部组件特别多，自身功能强大，有点大而全,而flask，内置组件很少，但是它的第三方组件很多， 扩展性强，有点短小精悍，而它们之间也有相似之处， 因为它们两个框架都没有写sockte，都是基于wsgi协议做的，在此之外，flask框架中的上下文管理较为耀眼。 相同点：它们两个框架都没有写sockte，都是基于wsgi协议做的 请求相关数据传递...
阅读全文
摘要：1.MVC Model View Controller 模型 视图 控制器 Django MTV Model Template View 模型 模板文件 业务处理 2.web框架的本质: socket服务端与浏览器的通信 1. sock...
阅读全文
摘要：Python类: 1. 如果一类自己或基类中指定了metaclass，那么该类就是由metaclass指定的type或mytype创建。 2. metaclass作用是指定当前类由谁来创建。 - 源码 如果类以基类中未指定metaclass: - __new__ - __init__ 如果类以基类中指定me...
阅读全文
摘要：1. HTTP/IP相关协议，分别位于哪层 http协议是超文本传输协议，http协议是基于TCP/IP通信协议来传递数据 http协议工作与c/s架构上，浏览器作为http的客户端通过URL向http服务端即web服务器发送所用请求。web服务器收到所有请求后，向客户端发送响应信息， http特点是短连接，无状态 地址栏键输入URL，按下回车之后经历了什么？ 1.浏览器向DNS服务器请求解析...
阅读全文
摘要：1. 什么是python？使用python有什么好处？ python是一种编程语言，它有对象、模块、线程、异常处理和自动内存管理。它简洁，简单、方便、容易扩展、有许多自带的数据结果，而且它开源 2. python是如何被解释的？ Python是一种解释性语言，它的源代码可以直接运行，Python解释器会将源代码转换成中间语言，之后再翻译成机器码再执行 3. PEP8规范，规范的好处是什么？ ...
阅读全文
摘要：1.在MySQL中创建数据库 """创建mysql数据库""" import pymysql # 数据库连接引用类 from pymysql.connections import Connection # 游标操作类 from pymysql.cursors import Cursor # 通过py
阅读全文
摘要：1.上菜之前来个练手DOM <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width initial-scale=1.0">
阅读全文
摘要：1.列表去重并且保持原来的顺序 """ 有一个列表[11, 2, 3, 3, 7, 9, 11, 2, 3],去重并且保持原来的顺序. """ numbers = [11, 2, 3, 3, 7, 9, 11, 2, 3] ret = list(set(numbers)) print(ret) re
阅读全文
摘要：1.创建scrapy项目 scrapy startproject 项目名 cd 项目名 scrapy genspider chouti chouti.com 创建一个爬取抽屉的爬虫 scrapy genspider -t crawl cnblogs cnblogs.com 创建一个爬取博客的爬虫 s
阅读全文
摘要：1.先来个不反爬的 """这个不设置反爬措施，练手最好用""" import requests from bs4 import BeautifulSoup response = requests.get("https://www.autohome.com.cn/news/") # 转换编码 resp
阅读全文
摘要：1.自定义报错，不继承父类的方法就返回错误信息 class Base(object): def send(self): raise NotImplementedError('子类中必须实现send方法') class Foo(Base): """如果不写send方法，会返回错误信息""" def s
阅读全文
摘要：栈，先进后出或者后进先出，以列表的结构外加append和pop方法实现栈 class Stack: def __init__(self): # 实例一个空列表对象 self.items = [] def isEmpty(self): # 判断列表中是否有值，空就返回True return self.
阅读全文
摘要：轮询和长轮询 轮询是每隔多久的时间请求一次 长轮询是请求到来就夯住，并设置超时时间，有值就瞬间返回。 from flask import Flask, render_template, session, request, jsonify import queue import uuid app =
阅读全文
摘要：models.py from sqlalchemy import create_engine, Column, Integer, String, ForeignKey, Enum, UniqueConstraint from sqlalchemy.ext.declarative import dec
阅读全文
摘要：请配合https://www.cnblogs.com/Guishuzhe/p/9524790.html使用 models.py from django.db import models class ClassTable(models.Model): """班级""" id = models.Auto
阅读全文
摘要："""metaclass的作用是指定当前类由谁来创建""" # 第一种创建类的方式 class Foo(object): name = "小强" # 类的静态字段 def func(self): return 666 val = Foo() print(val.name) # 第二种创建类的方式 F
阅读全文
摘要：isinstance(obj, cls)方法判断obj是否是cls的对象 issubclass(sub, super)判断sub类是否是super类的派生类或子类 可以调用类的私有属性 class Foo(object): def __init__(self,name,age): self.name
阅读全文
摘要：import redis from flask import Flask, session from flask_session import Session app = Flask(__name__) app.debug = True app.secret_key = 'xxxxaaa' app.
阅读全文
摘要：1.简介 2.静态网站 """ 这是一个静态的web网站，返回什么数据类型就是什么，而现在网站都是动态的。 """ import socket def f1(request): """ 处理用户请求，并返回相应的内容 :param request: 用户请求的所有信息 :return: """ #
阅读全文
摘要：utils/pay.py from datetime import datetime from Crypto.PublicKey import RSA from Crypto.Signature import PKCS1_v1_5 from Crypto.Hash import SHA256 fro
阅读全文
摘要：app.py from flask import Flask, render_template, request, session, redirect, url_for app = Flask(__name__) app.secret_key = "sfsdf35135" # 配合session做登
阅读全文
摘要：models.py from django.contrib.contenttypes.fields import GenericForeignKey, GenericRelation from django.contrib.contenttypes.models import ContentType
阅读全文
浙公网安备 33010602011771号