摘要：
jq 一 jq的引入方式: 1.本地文件引入 <script src="path/jquery-v.js"></script> // 引入本地路径的jq文件 2.CDN链接引入 <script src="https://cdn.bootcss.com/jquery/3.4.0/jquery.js"> 阅读全文
2019年12月22日
摘要：
Redis-API 简介 Redis 是一个基于内存的高效的键值行非关系型数据库，存取效率极高。 python提供了两个类：分别为Redis和StrictRedis来实现Redis的命令操作。Redis是StrictRedis的子类 官方推荐使用StrictRedis 如果要做数据导入、导出操作的话 阅读全文
摘要：
项目环境搭建 1.基本认知 Web应用框架（Web application framework）是一种开发框架，用来支持动态网站，网络应用程序及网络服务的开发。—— Django 框架： WSGI：Web Server Gateway Interface。服务器网关接口 web框架构成： url路由 阅读全文
摘要：
mysql-API 事务 mysql事务：操作序列，这个操作要么执行，要么都不执行(工作单位) 支票表:支票账户 减少10000 储蓄表:储蓄账户 增加10000 特性：事务的4个属性 ACID 1.原子性Atomicity：一个事务是不可分割的最小的工作单位，整个事务要么全部提交成功，要么全部失败 阅读全文
摘要：
scrapy框架（二） 一、scrapy 选择器 概述： Scrapy提供基于lxml库的解析机制，它们被称为选择器。 因为，它们“选择”由XPath或CSS表达式指定的HTML文档的某部分。 Scarpy选择器的API非常小，且非常简单。 Scrapy选择器是通过scrapy.Selector类， 阅读全文
摘要：
Ajax数据爬取 简介 数据加载是异步加载，局部刷新。web开发的前后端分离通常都用Ajax交互，降低了服务器直接渲染页面带来的压力 基本原理 发送请求 解析内容 渲染网页 其实就是 向后端指定接口发送请求，返回数据，渲染页面 JS对Ajax底层的实现，实际上是新建了一个XMLHttpRequest 阅读全文
摘要：
mongodb-API 连接mongo（该操作一般在初始化时就执行） 出现 由于目标计算机积极拒绝，无法连接的错误时 查看是否进行虚拟机的端口转发 将 /etc/ 目录下的mongodb.conf 文件 bind_ip修改为 0.0.0.0, 表示任何主机都可以访问 重启服务 service mon 阅读全文
摘要：
scrapy框架(三) CrawlSpider类 创建CrawlSpider # 创建项目后 $ scrapy genspider -t crawl spider_name website_domain url 就是你想要爬取的网址 注意：分析本地文件是一定要带上路径，scrapy shell默 阅读全文
摘要：
Scrapy框架(一) 国内镜像源： 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.doubanio.com/simp 阅读全文
摘要：
网页解析库 简介 除了正则表达式外，还有其他方便快捷的页面解析工具 如：lxml (xpath语法) bs4 pyquery等 Xpath 全称XML Path Language, 即XML路径语言，是一门在XML文档中查找信息的语言，同样也适用于HTML文档的搜索。 爬虫 我们需要抓取的只是某个网 阅读全文
摘要：
fiddler 抓包工具 一、HTTP代理 所谓的http代理，其实就是代理客户机的http访问，主要代理浏览器访问页面。 代理服务器是介于浏览器和web服务器之间的一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，Request信号会先送到代理服务器，由代理服 阅读全文
摘要：
requests第三方库 简介: requests是一个优雅而简单的Python 第三方HTTP请求库，专为人类而构建。 requests的官方文档同样也非常的完善详尽，而且少见的有中文官方文档：http://cn.python-requests.org/zh_CN/latest/。 英文文档：ht 阅读全文
摘要：
urllib库 HTTP请求库 urllib 是一个用来处理网络请求的python标准库，它包含4个模块。 urllib.requests 请求模块，用于发起网络请求 urllib.parse 解析模块，用于解析URL urllib.error 异常处理模块，用于处理request引起的异常 url 阅读全文
摘要：
正则表达式 简介： 正则表达式：用来匹配特定规则的字符串。 正则表达式是处理字符串的强大工具，有特定的语法结构；实现字符串的检索、替换、匹配验证等。 元字符 模式描述 . 匹配除换行符之外的任意字符 ^ 匹配开头 $ 匹配结尾 * 匹配任意多个（0个或多个） + 匹配1个或多个（至少一个） ？ 匹配 阅读全文
摘要：
一 、爬虫的认识与http 互联网应用架构 一般采用c/s架构，b/s架构或者m/s架构 c/s 即 client server 客户端 服务端 b/s 即 browser server 浏览器 服务端 m/s 即 moblie server 移动端 服务端 爬虫的概念 网络爬虫也叫网络蜘蛛，它特指 阅读全文
摘要：
linux补充 apt 是在我们Linux系统安装软件 pip 用来安装python3的模块（第三方库） ps # 查看运行进程（pid） ps aux # 查看全部任务进程 top # 也可以查看进程 htop 美化查看cpu进程 kill pid_id # 结束进程。 python -V 查看版 阅读全文
摘要：
Linux 系统常用命令 1.查看目录 ls 查看当前目录的内容 ls -lsh 查看当前目录的详细信息 ls -alh 查看当前目录的所有文件信息，包括隐藏文件 ls -als | more 分页查看，空格翻。回车下一行。 （ls -l ls -a ls -all ll sl小火车） 2.目录跳转 阅读全文