摘要：
Django 自定义过滤器 自定义过滤器就是一个带有一个或两个参数的Python 函数： - （输入的）变量的值 —— 不一定是字符串形式。 - 参数的值 —— 可以有一个初始值，或者完全不要这个参数。 注册自定义过滤器 django.template.Library.filter() Librar 阅读全文
摘要：
Django 模板标签 标签在渲染的过程中提供任意的逻辑 标签语法: 由%}和 {% 来定义的，例如：{%tag%} {%endtag%} 这个定义是刻意模糊的。 例如，一个标签可以输出内容，作为控制结构，例如“if”语句或“for”循环从数据库中提取内容，甚至可以访问其他的模板标签。 常用的标签 阅读全文
摘要：
Django 模板的路径，有两种方法来使用 设置一个总的templates在大项目外面，然后在sittings的TEMPLATES中声明 在每一个APP中创建templates，然后在settings的INSTALLED_APPS中声明 模板变量的使用 语法: {{ 变量名 }} 命名由字母和数字以 阅读全文
摘要：
Django 路由的分配中， 可以设定相应的转换器加以约束，比如只能输入数字，特殊符号。。 形如 设置views以查看结果：（参数格式不正确的话，会无法显示网页） 类似的还有： str,匹配除了路径分隔符（/）之外的非空字符串，这是默认的形式 int,匹配正整数，包含0。 slug,匹配字母、数字以 阅读全文
摘要：
Django 什么是Django框架 http服务器：用来接受用户请求，并将请求转发给web应用框架进行处理。Web应用框架处理完以后再发送给http服务器，http服务器再返回给用户。 准备工作 因为Django版本很多，为了避免版本冲突，统一选择使用linux的虚拟环境进行Django学习 查看 阅读全文
摘要：
scrapy——8 scrapyd使用 什么是scrapyd？ scrapyd是运行scrapy爬虫的服务程序，它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫，每个爬虫还可以有多个版本。 特点： scrapyd官方文档：https://scrapyd. 阅读全文
摘要：
代理池的设置主要有四部 1.1先设置需要获取的代理的网站和解析规则 config.py 1.2 设置数据解析的方法 Parser.py 1.3 主程序中调用他们proxy_pool.py from Parser import Parser_response # 解析过程 2代理的检测 3 数据的存储 阅读全文
摘要：
scrapy——7 什么是scrapy-redis 怎么安装scrapy-redis scrapy-redis常用配置文件 scrapy-redis键名介绍 实战-利用scrapy-redis分布式爬取用药助手网站 实战-利用scrapy-redis分布式爬取Boss直聘网站 如何使用代理 什么是s 阅读全文
摘要：
这里主要是做一个关于数据爬取以后的数据解析功能的整合，方便查阅，以防混淆 主要讲到的技术有Xpath，BeautifulSoup，PyQuery，re（正则） 首先举出两个作示例的代码，方便后面举例 解析之前需要先将html代码转换成相应的对象，各自的方法如下： Xpath： BeautifulSo 阅读全文
摘要：
Scrapy——6 怎样进行APP抓包？ 1.连接网络 安装fiddler，并且进行配置： Tools >> options >> connections >> 勾选 allow remote computers to connect 查看本机ip地址： 在cmd窗口中，输入 ipconfig ，查 阅读全文
摘要：
Scrapy——5 （Downloader Middleware）下载中间件常用函数有哪些 Scrapy怎样对接Selenium 设置setting.py里的DOWNLOADER_MIDDLIEWARES，添加自己编写的下载中间件类 常用的Setting内置设置有哪些 详情可以参考https://s 阅读全文
摘要：
scrapy——4 动态的设置User-Agent（随即切换User-Agent，模拟不同的用户的浏览器信息） 禁用Cookies（也就是不启用cookies middleware，不向Server发送cookies的使用发现爬虫行为）可以通过COOKIES_ENABLED控制CookiesMidd 阅读全文
摘要：
scrapy——3 crawlSpider crawlSpider 爬取一般网站常用的爬虫类。其定义了一些规则(rule)来提供跟进link的方便的机制。 也许该spider并不是完全适合您的特定网站或项目，但其对很多情况都使用。因此您可以以其为起点，根据需求修改部分方法。当然您也可以实现自己的sp 阅读全文
摘要：
Scrapy——2 Scrapy shell 什么是Scrapy shell Scrapy shell终端是一个交互终端，我们可以在未启动spider的情况下尝试调试代码，也可以用来测试Xpath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取数据 Scrapy内置选择器： 什么是sip 阅读全文
摘要：
Scrapy——1 目录 什么是Scrapy框架？ Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。多用于抓取大量静态页面。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常方便。 Scrapy使 阅读全文