摘要:
一、创建第一个Django项目 使用命令行的方式创建 1、创建项目,打开终端,使用命令:django-admin startproject [项目名称] 即可创建。比如:django-admin startproject first_project。 2、创建应用(app):一个项目类似于一个架子, 阅读全文
摘要:
一、创建一个Django的虚拟环境 生成虚拟环境在D:\Virtualenvs下 在pycharm中引入django虚拟环境 安装Django环境,workon python_django 使用pip install django安装Django 二、URL详解 URL,统一资源定位符,一个URL由 阅读全文
摘要:
一、并发与并行 并行是指两个或者多个事件在同一时刻发生 并发是指两个或多个事件在同一时间段发生 并行指的是多个CPU,并发主要是针对一个CPU而已 并发的目的是充分利用处理器的每一个核,以达到最高的处理性能 二、Python多线程编程 多线程编程实例 thread_test.py #1、实例化Thr 阅读全文
摘要:
一、使用ORM的优点 1、隔离数据库和数据库版本之间的差异 2、便于维护 3、ORM会提供防sql注入等功能 4、变量传递式的调用更加简单 5、很多立志不用ORM的项目会自己开发一套ORM ORM的核心原理是将一张表映射成一个类或者一个对象。 二、peewee的优点 1、目前三种主流ORM djan 阅读全文
摘要:
一、使用MySQL workbench建立数据库、表 创建spider数据库 drop database spider; create database spider; ALTER DATABASE spider CHARACTER SET utf8mb4 COLLATE utf8mb4_gener 阅读全文
摘要:
一、CSS选择器 二、CSS选择器实例 按照class属性值取出网页信息 from scrapy import Selector html=""" <html lang="en"> <head> <meta charset="UTF-8"> <title>bobby基本信息</title> <scr 阅读全文
摘要:
一、安装Xpath解析库-scrapy中的selector win+r打开cmd,输入pip install wheel,先安装wheel库了才能安装.whl文件。 安装lxml库 到https://pypi.org/project/lxml/#files下载对应python版本的lxml库 切到l 阅读全文
摘要:
一、安装BeautifulSoup库 可以现在目前python安装了哪些包 安装beautifulsoup 二、beautifulsoup官网 https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 三、beautifulsoup的主要解析器 四 阅读全文
摘要:
静态网页就是直接固定的数据,动态网页就是有交互的网页,比如数据通过ajax请求动态加载了数据 百度百科,维基百科这种很少变动的网页就是静态网页。有些博客也是静态网页。 静态网页相对稳定,响应快。利于SEO 动态网页体验好,数据部分加载,对服务器友好,扩展性好。 阅读全文
摘要:
一、爬虫数据采集 1、按照采集对象分类 1、全网采集 2、全站采集 3、具体网站的指定数据采集 2、采集方案分类 1、利用http协议采集-页面分析 2、利用api接口采集-app数据采集 3、利用目标网站的api采集-微博、github、twitter、facebook 二、request库爬虫 阅读全文