03 2023 档案
摘要：一般用于股票等类型网站 http协议 import requests # http协议..... url = "http://43.push2.eastmoney.com/api/qt/stock/trends2/sse?fields1=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,
阅读全文
摘要：python基础内容回顾 HTML+CSS 正则解析 bs4解析 xpath解析 urllib与requests 多进程 多线程 协程 抓取m3u8视频 selenium使用 MySQL数据库 MongoDB数据库 Redis数据库 面向对象基础 IP代理池 Scrapy框架 Scrapy-模拟登陆
阅读全文
摘要：scrapy的crawlspider爬虫 学习目标： 了解 crawlspider的作用 应用 crawlspider爬虫创建的方法 应用 crawlspider中rules的使用 1、crawlspider是什么 回顾之前的代码中，我们有很大一部分时间在寻找下一页的url地址或者是内容的url地址
阅读全文
摘要：Scrapy中间件 学习目标： 应用 scrapy中使用中间件使用随机UA的方法 了解 scrapy中使用代理ip的的方法 1、scrapy中间件的分类和作用 1.1 scrapy中间件的分类 根据scrapy运行流程中所在位置不同分为： 下载中间件 爬虫中间件 1.2 scrapy中间的作用 主要
阅读全文
摘要：scrapy模拟登陆&分页 一、模拟登陆 学习目标： 应用 scrapy直接携带cookie模拟登陆的方法 应用 scrapy.FormRequest()发送post请求进行登陆 1、回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies请求页面 找ur
阅读全文
摘要：Redis数据库 Redis 简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他 key- value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支
阅读全文
摘要：MySQL数据库 一、MySQL数据库的介绍 1、发展史 1996年，MySQL 1.0 2008年1月16号 Sun公司收购MySQL。 2009年4月20，Oracle收购Sun公司。 MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（
阅读全文
摘要：selenium 一、前期准备 1、概述 selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。 我们可以利用selenium提供的各项功能。 帮助我们完成数据的抓取。 2、学习目标 掌握 selenium发送请求，加载网页的方法 掌握 sel
阅读全文
摘要：抓取m3u8视频 1、思路分析 视频url：https://www.9tata.cc/play/96310-4-0.html 打开网址分析当前视频是由多个片段组成还是单独一个视频 如果是一个单独视频，则找到网址，直接下载即可，如果为多个片段的视频，则需要找到片段的文件进行处理，本案例以m3u8为例
阅读全文
摘要：一、协程 概念 1.什么是协程？ 协程 又称微线程(纤程)，是一种用户态的轻量级线程 子程序 在所有的语言中都是层级调用的，比如A中调用B，B在执行过程中调用C，C执行完返回，B执行完返回，最后是A执行完毕。这是通过栈实现的，一个函数就是一个执行的子程序，子程序的调用总是有一个入口、一次返回，调用的
阅读全文
摘要：一、线程 1、概念 线程 在一个进程的内部，要同时干多件事，就需要同时运行多个“子任务”，我们把进程内的这些“子任务”叫做线程 是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同
阅读全文
摘要：高效编程 一、多任务原理 概念 现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持“多任务”的操作系统 什么叫多任务？ 就是操作系统可以同时运行多个任务 单核CPU实现多任务原理 操作系统轮流让各个任务交替执行，QQ执行2us（微秒），切换到微信，在执行2us，再切换
阅读全文
摘要：前情摘要 一、web请求全过程剖析 我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么? 我们看一下一个浏览器请求的全过程 接下来就是一个比较重要的事情了. 所有的数据都在页面源代码里么? 非也~ 这里要介绍一个新的概念 那就是页面渲染数据的过程, 我们常见的页面渲染过程有
阅读全文
摘要：xpath 1、xpath安装与使用 安装 安装lxml库 pip install lxml -i pip源 2、解析流程与使用 from lxml import etree # 解析本地HTML文件 # parser = etree.HTMLParser(encoding="utf-8") # t
阅读全文
摘要：beautifulsoup 一、beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通
阅读全文
摘要：一、正则基础 1 [] 原子表 [a] 匹配小写字母a [x] 匹配小写字母x [ab] 匹配小写字母a或b [abc] 匹配小写字母a或者b或者c [0123456789] 匹配任意一位数字 [0-9] 匹配任意一位数字 [a-z] 匹配任意一位小写字母 [A-Z] 匹配任意一位大写字母 [a-z
阅读全文
摘要：HTML(HyperText Markup Language) 前言 软件架构 B/S Browser/Server 网站 C/S Client/Server QQ HTML的简介、发展史： 万维网联盟（W3C）维护。包含HTML内容的文件最常用的扩展名是.html，但是像DOS这样的旧操作
阅读全文
摘要：第一节, python基础内容回顾 一. 关于上课 通常情况下, 周一, 周三, 周五 晚上8点上课. 但是为了课程完整性, 以及一些特殊情况. 会有调整. 各位一定要注意群公告. 有些人习惯性把群屏蔽. 请把"猿来教育-樵夫"设置为关注的群成员. 这样避免遗漏掉最新的通知. 关于答疑, 写程序嘛,
阅读全文
摘要：抓包工具和PyExeJs模块 我们在处理一些网站的时候, 会遇到一些屏蔽F12, 以及只要按出浏览器的开发者工具就会关闭甚至死机的现象. 在遇到这类网站的时候. 我们可以使用抓包工具把页面上屏蔽开发者工具的代码给干掉. 一. Fiddler和Charles 这两款工具是非常优秀的抓包工具. 他们可以
阅读全文
摘要：Scrapy框架 一、前言 1、介绍 前面我们学习了基础的爬虫实现方法和selenium以及mongodb数据库，那么接下来会我们学习一个上场率非常高的爬虫框架：scrapy 2、内容 scrapy的基础概念和工作流程 scrapy入门使用 二、scrapy的概念和流程 学习目标： 了解 scrap
阅读全文
摘要：一、面向对象基础 1、面向对象思想简介 软件编程就是将我们的思维转变成计算机能够识别语言的一个过程 什么是面向过程？ 自上而下顺序执行，逐步求精 其程序结构是按功能划分为若干个基本模块，这些模块形成一个树状结构； 各模块之间的关系尽可能简单，在功能上相对独立 每一模块内部均是由顺序、选择和循环三种基
阅读全文
摘要：Python各种加密逻辑 在我们进行js逆向的时候. 总会遇见一些我们人类无法直接能理解的东西出现. 此时你看到的大多数是被加密过的密文. 一. 一切从MD5开始 MD5是一个非常常见的摘要(hash)算法.. 其特点就是小巧. 速度快. 极难被破解(王小云女士). 所以, md5依然是国内非常
阅读全文
摘要：逆向初识 用我们的程序来复刻出来浏览器中对数据加密或者解密的过程 浏览器里面运行的脚本. 是js脚本. 我们是能直接看到js脚本的. 1. 不需要逆向直接用python代码直接干. 不是所有的请求都需要逆向js的... 能直接干的就直接干... 2. 网站可能会对数据进行加密 数据是看不懂的...不
阅读全文
摘要：更换npm为国内镜像 在终端执行. npm set registry http://registry.npmmirror.com 首先, 打开"我的电脑". 找到"c盘中用户文件夹". 找到你当前正在使用的"用户" 代码如下. registry=http://registry.npmmirror.c
阅读全文
摘要：NoSQL Mongodb 下载mongodb的版本，两点注意 根据业界规则，偶数为稳定版，如1.6.X，奇数为开发版，如1.7.X 32bit的mongodb最大只能存放2G的数据，64bit就没有限制 性能 BSON格式的编码和解码都是非常快速的。它使用了C风格的数据表现形式，这样在各种语言中都
阅读全文
摘要：1.基础概念 MES生产制造执行系统 SCM供应商管理平台 WMS仓库管理系统 SCADA系统 EMS设备管理系统 RFID硬件设备
阅读全文
