染指未来

摘要： CrawlSpider实现的全站数据的爬取 新建一个工程 cd 工程 创建爬虫文件：scrapy genspider t crawl spiderName www.xxx.com 连接提取器LinkExtractor 可以根据指定的规则对指定的连接进行提取 提取的规则就是构造方法中的allow（‘正 阅读全文

摘要： 一丶scrapy的图片数据爬取（流数据的爬取） ​ scrapy中封装好了一个管道类（ImagesPipeline），基于该管道类可以实现图片资源的请求和持久化存储 编码流程： 爬虫文件中解析出图片的地址 将图片地址封装到item中且提交给管道 管道文件中自定义一个管道类（父类：ImagesPipe 阅读全文

摘要： python爬虫 js加密和混淆,scrapy框架的使用. 一丶js加密和js混淆 js加密 ​ 对js源码进行加密,从而保护js代码不被黑客窃取.(一般加密和解密的方法都在前端) js混淆 二丶SCRAPY爬虫框架 概述scrapy框架特点 下载与安装 基本使用 ​ 创建项目 ​ scrapy目录 阅读全文

摘要： python爬虫 单线程+多任务的异步协程,selenium爬虫模块的使用 一丶单线程+多任务的异步协程 特殊函数 协程对象 阅读全文

摘要： python爬虫 爬虫的数据解析的流程和解析数据的几种方式 一丶爬虫数据解析 概念：将一整张页面中的局部数据进行提取/解析 作用：用来实现聚焦爬虫的吧 实现方式： 数据解析的通用原理是什么？ 页面中的相关的字符串的数据都存储在哪里呢？ 基于聚焦爬虫的编码流程 正则解析 BS4解析 XPATH解析 其 阅读全文

摘要： python爬虫 详解爬虫分类,HTTP和HTTPS的区别,证书加密,反爬机制和反反爬策略,requests模块的使用,常见的问题 一丶爬虫概述       通过编写程序'模拟浏览器'上网,然后通过程序获得互联网中爬取数据的过程 二丶爬虫分 阅读全文

摘要： Django FORM组件.FORM组件的字段,FORM组件校验流程,FORM组件的全局和局部钩子,FORM和Model的组合 一丶FORM的介绍 1.生成页面可用的HTML标签 2.对用户提交的数据进行校验 3.保留上次输入内容 二丶使用form组件实现注册功能 总结: 三丶FORM组件 常用字段 阅读全文

摘要： Django CSRF的装饰器,CSRF的流程,JSON数据格式,ajax技术(基于JQ实现) 一丶CSRF相关的装饰器 二丶CSRF的流程    1.想要通过csrf校验的前提是. 必须有csrftoken的cookie. ​   2.从 阅读全文

摘要： Django SETTINGS核心配置项 django核心配置项 Django的默认配置文件中，包含上百条配置项目，其中很多是我们‘一辈子’都不碰到或者不需要单独配置的，这些项目在需要的时候再去查手册。 强调：配置的默认值不是在settings.py文件中！ 不要以为 中的配置值就是默认值，参考前文 阅读全文

摘要： Django Django的中间件 一丶中间件介绍 什么是中间件 二丶自定义中间件 中间件可以定义五个方法，分别是：（主要的是process_request和process_response） process_request(self,request) process_view(self, requ 阅读全文