摘要：
Django框架（五） App组件： 我们使用：python manage.py startapp app-name 命令创建app，可得到如下结构的目录： 一、models.py：模型层 在models.py文件中，需要去创建你的模型类，继承自models.Model类，包含了Django和数据库 阅读全文
摘要：
Django框架（四） 总路由--project/urls.py 运行Django服务后，利用URL来进行访问Django，此时，Django使用project/urls.py文件进行辨别处理URL，将URL的请求推送给相应的app中的子路由urls.py中 project/urls.py文件内容示 阅读全文
摘要：
Django框架（三） 设置settings.py文件，关于Django项目所有的设置都在这里： 需要设置的有： 1、INSTALLED_APPS：当你使用命令创建了一个新的app时，需要将app的名字，添加进入这个列表中 2、TEMPLATES：需要设置其中的 DIRS , 在后面的列表中，加入 阅读全文
摘要：
Django框架（二） 常用命令： 文章中，命令中带有 manage.py 字样的，代表需要进入project/manage.py文件同一级的目录下 1、创建项目： django-admin startproject project-name django-admin：在Windows中，若报错，可 阅读全文
摘要：
Django框架 目前在自学Django框架，环境Python-3.6，Django-1.11, MySQL-5.7 写博文是为了梳理整个框架结构，所以自己整理了一张表，后续会按照这张表结构进行记录解析，随着学习进展，会将额外的部件进行填充~ 目录： 1、Django框架（二） 常用命令 2、Dja 阅读全文
摘要：
Scrapy框架 settings.py 在settings.py文件中，可以设置关于scrapy爬虫，比如反爬措施、提高性能等 一、反爬： 1、USER-AGENT设置： 创建一个USER-AGENT池，随机从其中抽取一条作为request中的User-Agent； demo： 2、cookies 阅读全文
摘要：
Scrapy爬虫数据持久化 一、本地文件持久化： 最简单的储存成json格式文件，在运行爬虫时，命令为：scrapy crawl name -o xxx.json jsonlines格式：命令为：scrapy crawl name -o xxx.jl 二、数据库持久化： 1、MySQL存储： (1) 阅读全文
摘要：
Scrapy爬虫框架 一、创建爬虫：scrapy startproject SpiderName 建议创建完成后，将最外层的文件夹名称改名，否则后续操作导入settings或items文件时会出错 运行爬虫：scrapy crawl name 运行爬虫并保存为json文件：scrapy crawl 阅读全文
摘要：
Python读取jsonlines格式文件 json lines文件是一种便于存储结构化数据的格式，可以一次处理一条记录。可以用作日志文件或者其他。每条json数据之间存在一个"\n"分隔符。 具体信息可以查看http://jsonlines.org/ 之前爬虫存储数据，使用了这个格式文件，但是在读 阅读全文
摘要：
编辑器，IDE调试Scrapy方法 目前手里使用VSCode和PyCharm写程序 关于Scrapy调试，可以分别设置： 1、PyCharm： 在scrapy.cfg同级目录下，创建py文件，之后运行该文件即可，断点调试打在爬虫代码上 2、VSCode： 在爬虫代码文件中，添加代码，直接运行即可ht 阅读全文