摘要：
[TOC] 1. 概念 静态网页：网页是写死的，不管谁在什么时候访问，都是一样的 动态网页：内容会依靠服务器端的程序来生成，不同人在不同时候访问，显示的内容都不一样，像现在的购物、新闻网站，会根据浏览记录来显示商品、新闻 "静态网页和动态网页的区别" HTML：超文本标记语言，是描述性语言，是网页的 阅读全文
摘要：
[TOC] 1. Scrapy框架 1.1 功能： 集成了相应功能且通用性很强的模板 高性能的异步下载，解析，持久化 1.2 创建scrapy项目 1. 在命令里输入scrapy，有提示，说明安装好了，cmd里不行，要在anaconda里面输，应该是没加anaconda的环境变量的原因 1. 切换目 阅读全文
摘要：
[TOC] 一、日志级别 二、默认级别为warning，默认打印到终端 三、配置logging 介绍 使用 结果 四、Formatter，Handler，Logger，Filter对象 1. logger:负责产生日志，然后交给filt过滤，交给不同的Handler输出 2. filter：过滤日志 阅读全文
摘要：
[TOC] 爬虫基本流程 1. 发起请求：通过http库向目标站点发起请求，即发送一个request，请求可以包含额外的headers等信息，等待服务器相应 2. 获取相应内容：如果服务器能正常相应，会得到一个response，response的内容便是所要获取的页面内容，类型可能有HTML，jso 阅读全文
摘要：
[TOC] 1. 基本概念 1.1 什么是爬虫 通过编写程序模拟浏览器上网，去互联网上抓取数据 遵从浏览器上网流程 1.2 编程语言 php（多线程和多进程方面封装的不够好） java（代码臃肿，重构成本大） c、c++（封装不够好） python 1.3 爬虫分类 通用爬虫：搜索引擎，将互联网上的 阅读全文
摘要：
内置函数 ord chr dir（）当前解释器所有变量 all 列表都为真返回真，有个0返回假，可迭代对象为空返回真 any 一个真返回真，可迭代对象为空返回假 ascii bin 十进制转二进制 bool 布尔值 oct 十进制转八进制 hex 十进制转十六进制 bytearray s=s.enc 阅读全文
摘要：
1. 互联网协议 osi七层协议 每层运行常见物理设备 物理层 发送高低电压形成的电信号，就是0和1 数据链路层 将一连串无意义的01数字，定义电信号的分组方式 以太网协议Ethernet 一组电信号构成一个数据包，叫做帧 每一数据帧分为报头head和数据data两部分 head固定18个字节 发送 阅读全文
摘要：
1. 排序 将一组无序的记录序列调整为有序的记录序列 输入无序列表，输出有序列表 常见算法：冒泡，选择，插入，快速，堆，归并，希尔，计数，基数 2. 冒泡排序 列表每相邻的数，如果前面比后面大，则交换这两个数 遍历一次列表后，无序区减少一个数，有序区增加一个数，一共遍历n 1遍 时间复杂度：O(n2 阅读全文
摘要：
1. 查找 给定一个指定元素和列表，从列表中查找出指定元素 输入：列表、待查找元素 输出：元素下标 2. 顺序查找 从第一个元素顺序进行搜索，直到找到该元素或者最后一个元素为止 时间复杂度：O(n) 3. 二分查找 通过比较待查找的值与候选区中间值，值候选区减少一半 必须是有序列表 时间复杂度：O( 阅读全文
摘要：
1. 算法概念 algorithm：一个计算过程，解决问题的方法 程序设计=数据结构+算法 输入→算法→输出 数据结构就是关系 2. 时间复杂度 用来估计算法运行时间的一个式子，一般来说时间复杂度高的算法比复杂度低的算法慢 2.1 一些例子： 2.2 时间复杂度排序 2.3 快速判断算法复杂度 确定 阅读全文
摘要：
1. 二进制 bin()十进制转二进制 0b oct（）十进制转八进制 0o hex（）十进制转十六进制 0x，4个二进制对应1个16进制，用于网络编程，数据存储 print(int('110111',2)) = 55 print(int('ffff',16)) = 65535 print(int( 阅读全文
摘要：
1. for for正常循环结束后，执行else 2. if if 条件： 代码 elif 条件： 代码 else： 代码 3. while while 条件： 代码 3.1 break while循环结束 3.2 continue 跳过此次循环，进入下一次循环 3.3 else 循环完成执行els 阅读全文
摘要：
1. 基本数据类型 1.1 数字 int、float、complex 互相转换可以用int（），float（） 浮点数17位，借助decimal模块可以精确表示浮点数 1.2 布尔值 常见的布尔值为False的值：False，None，0，“”，（），[]，{} 1.3 字符串 双引号或者单引号中的 阅读全文
摘要：
1. 变量 1.1 变量定义 变量用于存储数据和被调用，是指向计算机内存中的一块区域。 1.2 变量命名规则 字母，数字，下划线组成 数字不能开头 不能使用关键字 python习惯用下划线来做变量名 1.3 变量的赋值 变量不需要声明，赋值直接声明和定义，用符号“=”来赋值，只是一个指向内存的作用 阅读全文
摘要：
本质上计算机只能识别0和1，计算机语言是为了方便程序员编写代码。 1.语言分类 1.1 机器语言 用二进制代码0和1描述的指令，直接操作硬件，人看不懂 1.2 汇编语言 与机器语言实质相同，都是对硬件操作，把机器语言的0和1指令用英文代替，人很难看懂 1.3 高级语言 目前大部分使用的语言，人能够理 阅读全文