摘要：
代理操作 - 目的：为解决ip被封的情况 构建一个标准的代理ip池 - 1.取各大平台中爬取大量的免费代理ip（代理精灵购买：http://http.zhiliandaili.cn/Shop-index.html） - 2.校验出可用的代理ip - 使用每一个代理ip进行请求发送，监测响应状态码是否 阅读全文
摘要：
最近在使用scrapy框架中出现报错问题：是因为管道中持久化存储mysql使用pymsql出现的问题。 pymysql连结mysql数据库时报错： 借鉴网友的解决方法： 错误原因: pymysql.Connect时charset设置应该是utf8而不是utf-8 ！！！ 另外一个报错： 错误原因： 阅读全文
摘要：
requests 概念补充 简单get请求实例 案例：爬取豆瓣电影排名 数据解析 -- 是为了实现聚焦爬虫 正则 bs4解析 导入： 总结 bs4实例（水浒传） xpath解析 导入 总结 xpath实例（爬boss直聘） 补充：中文乱码解决 补充：管道的使用 阅读全文
摘要：
爬虫简介 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 浏览器其实就是一款天然的爬虫工具 爬虫的分类 通用爬虫:爬取一整张页面源码数据. 抓取系统(爬虫) 聚焦爬虫:爬取的是一张页面中局部的数据(数据解析) 增量式爬虫:用于监测网站数据更新的情况,从而爬取网站中最新更新出来 阅读全文
摘要：
Virtualenv 我们都知道Python开发项目很容易，项目也经得起工业级别考验。很多开发者都会习惯用Python开发项目，但是由于我们每个项目情况都有些不一样。比如 今天可能用的是Django 1.11.9，明天可能用的是Django 2.0.2。 如果不进行环境隔离全局安装就会导致包的冲突， 阅读全文
摘要：
准备 安装Flask-SQLAlchemy这个模块 开始创建Flask项目 创建项目目录（类似于Django项目） 接下来基于这个Flask项目,加入Flask-SQLAlchemy from flask_sql import create_app # 注意不要放在main下面 app = crea 阅读全文
摘要：
简单介绍SQLAlchemy sqlAlchemy是python中最著名的ORM(Object Relationship Mapping)框架了。 什么是ORM？ 一句话解释的话就是，一种可以把model中的模型和数据库中的一条数据相互转换的工具。 初始化数据库连接 create_engine()函 阅读全文
摘要：
转自：https://blog.csdn.net/jehon/article/details/84851611 和 https://blog.csdn.net/qq_34619992/article/details/79809432 报异常 ‘DateTimeField‘ object has no 阅读全文
摘要：
Vue 是什么 Vue (读音 /vjuː/，类似于 view) 是一套用于构建用户界面的渐进式框架。 Vue作者是尤雨溪，所以官方文档是中文，可以看官方文档：https://cn.vuejs.org/v2/guide/ 除了Vue之外，前端框架还有react、angualr。 使用Vue框架，可以 阅读全文
摘要：
初识MongoDB MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 NoSQL - MongoDB文件型数 阅读全文
