04 2018 档案
摘要：性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l
阅读全文
摘要：requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License
阅读全文
摘要：import requests user_id = '58841646784' # 6556303280 # 获取一个用户的所有作品 """ signature = _bytedAcrawler.sign('用户ID') douyin_falcon:node_modules/byted-acrawler/dist/runtime """ import subprocess signat...
阅读全文
摘要：import re import requests all_cookie_dict = {} # ##################################### 第一步：访问登录页面 ##################################### r1 = requests.get( url='https://passport.lagou.com/login/l...
阅读全文
摘要：import requests from bs4 import BeautifulSoup r1 = requests.get( url='https://github.com/login' ) s1 = BeautifulSoup(r1.text, 'html.parser') token = s1.find(name='input', attrs={'name': 'authent...
阅读全文
摘要：# import os import requests from bs4 import BeautifulSoup # 登陆, 模仿用户浏览器 r1 = requests.get( # 要爬取的博客圆页面 url='https://zzk.cnblogs.com/s/blogpost?Keywords=blog%3aaronthon%201&pageindex=9', #...
阅读全文
摘要：# import os import requests from bs4 import BeautifulSoup r1 = requests.get( url='http://jandan.net/', # 浏览器的信息 headers={ 'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleW...
阅读全文
摘要：import os import requests from bs4 import BeautifulSoup # 登陆, 模仿用户浏览器 r1 = requests.get( # 要爬取的网页 url='https://dig.chouti.com/', # 浏览器的信息 headers={ 'user-agent':'Mozilla/5.0 (...
阅读全文
摘要：1. 下载BeautifulSoup和requests 1. 先去https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载 Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl文件，并保存到一个文件夹中。 2. 打开cmd命
阅读全文
摘要：import requests import re import json def getPage(url): response=requests.get(url) return response.text def parsePage(s): com=re.compile('<div class="
阅读全文
摘要：1. self表示一个类的实例对象本身。如果用了staticmethod就无视这个self了，就将这个方法当成一个普通的函数使用了。 2. cls表是这个类本身。 3. 更多： 类先调用__new__方法，返回该类的实例对象，这个实例对象就是__init__方法的第一个参数self，即self是__
阅读全文
摘要：这个的路径是怎么来的，是有一个个的url路由分发过来的 这两个是相等的，若url后面加括号了，那么前面就不用这个装饰器了；反之，若装饰器使用了，那么这个url后面就不要加括号了 eg：其他的views.test这是一个视图函数，而那个url（）这个一个大列表，里面全是url，这里面就是所谓的二级分发
阅读全文
摘要：Django自带的后台管理是Django明显特色之一，可以让我们快速便捷管理数据。后台管理可以在各个app的admin.py文件中进行控制。以下是我最近摸索总结出比较实用的配置。若你有什么比较好的配置，欢迎补充。 一、基本设置 1、应用注册 若要把app应用显示在后台管理中，需要在admin.py中
阅读全文
摘要：Django中model部分的写法, 参见 unique-together 部分文档。 对应到 MySQL 中的 SQL , 类似如下的语句
阅读全文
摘要：isinstance isinstance(object, classinfo) 判断实例是否是这个类或者object是变量 classinfo 是类型(tuple,dict,int,float,bool,complex,str,list,set) 判断变量是否是这个类型 class objA: p
阅读全文
摘要：一般操作 看专业的官网文档，做专业的程序员！ 必知必会13条 返回QuerySet对象的方法有 all() filter() exelude() order_by() reverse() distinct() 特殊的QuerySet values() 返回一个可迭代的字典序列 values_list
阅读全文
摘要：一 模版 一模版的组成 HTML代码＋逻辑控制代码 二 逻辑控制代码的组成 1 变量（使用双大括号来引用变量） {{var_name}} 2 标签(tag)的使用（使用大括号和百分比的组合来表示使用tag） {%load staticfiles%} 3 过滤器(filter)的使用 {{ship_d
阅读全文
摘要：一 什么是web框架？ 一 什么是web框架？ 框架，即framework，特指为解决一个开放性问题而设计的具有一定约束性的支撑结构，使用框架可以帮你快速开发特定的系统，简单地说，就是你用别人搭建好的舞台来做表演。 对于所有的Web应用，本质上其实就是一个socket服务端，用户的浏览器其实就是一个
阅读全文
摘要：1、models.AutoField 自增列 = int(11) 如果没有的话，默认会生成一个名称为 id 的列，如果要显示的自定义一个自增列，必须将给列设置为主键 primary_key=True。 2、models.CharField 字符串字段 必须 max_length 参数 3、model
阅读全文
摘要：Django模板系统 官方文档 常用语法 只需要记两种特殊符号： {{ }}和 {% %} 变量相关的用{{}}，逻辑相关的用{%%}。 变量 {{ 变量名 }} 变量名由字母数字和下划线组成。 点（.）在模板语言中有特殊的含义，用来获取对象的相应属性值。 几个例子： view中代码： 模板中支持的
阅读全文
摘要：Django的View（视图） 一个视图函数（类），简称视图，是一个简单的Python 函数（类），它接受Web请求并且返回Web响应。 响应可以是一张网页的HTML内容，一个重定向，一个404错误，一个XML文档，或者一张图片。 无论视图本身包含什么逻辑，都要返回响应。代码写在哪里也无所谓，只要它
阅读全文
摘要：Django的路由系统 Django 1.11版本 URLConf官方文档 URL配置(URLconf)就像Django 所支撑网站的目录。它的本质是URL与要为该URL调用的视图函数之间的映射表。 你就是以这种方式告诉Django，对于这个URL调用这段代码，对于那个URL调用那段代码。 URLc
阅读全文
摘要：Django框架简介 MVC框架和MTV框架（了解即可） MVC，全名是Model View Controller，是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型(Model)、视图(View)和控制器(Controller)，具有耦合性低、重用性高、生命周期成本低等优点。 想要更
阅读全文
摘要：Object Relational Mapping(ORM) ORM介绍 ORM概念 对象关系映射（Object Relational Mapping，简称ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。 简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中
阅读全文
