摘要：
一、selenium库与requests库的区别 二、介绍 selenium最初是一个测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果， 阅读全文
摘要：
1.分析豌豆荚的接口的规律 获取所有app的接口url 2.往每一个接口发送请求，获取json数据 解析并提取想要的数据 app_data: 1.图标 app_img_url 2.名字 app_name 3.下载量 app_download_num 4.大小 app_size 5.简介 app_co 阅读全文
摘要：
一 Beautifulsoup模块介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Sou 阅读全文
摘要：
爬取梨视频步骤: 1.爬取梨视频主页，获取主页所有的详情页链接 url: https://www.pearvideo.com/ 1) 往url发送请求，获取主页的html文本 2) 解析并提取详情页相对路径video_1637593，与主页拼接即可 拼接后获取的是电影详情页url： detail_u 阅读全文
摘要：
Flask 0.Flask简介 Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相 阅读全文
摘要：
1.爬取豆瓣top250电影信息 第一页： https://movie.douban.com/top250?start=0&filter= 第二页： https://movie.douban.com/top250?start=25&filter= 第三页： https://movie.douban. 阅读全文
摘要：
一、Ruquest模块基础 requests模块可以模拟浏览器发送多种请求方式 二、基于GET请求 1.基本请求 2.带参数的GET请求(params、headers) 3.带参数的GET请求(cookies) 三、基于POST请求 1.get请求与post请求的区别 2、发送post请求，模拟浏览 阅读全文
摘要：
一、爬虫基础简介必备知识 三种爬虫方式 通用爬虫： 抓取系统重要组成部分，获取的是整张页面数据 聚焦爬虫： 建立在通用爬虫之上，抓取页面指定的局部内容 增量式爬虫： 检测网站数据更新的情况，只抓取更新出来的数据 robots.txt协议： 君子协议，规定网站哪些数据可不可爬 http协议 阅读全文
摘要：
1.设置为null 2.建表时其他参数的设置 3.set的使用 4.ManyToMany参数(through,db_constraint) 5.db_constraint ),但是不用约束字段了,一般公司都用false,这样就省的报错,因为没有了约束(Field字段对象,既约束,又建立表与表之间的关 阅读全文
摘要：
SQLAlchemy 1.介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 组成部分： SQLAlchemy本身无法操作数据库，其必须以来 阅读全文