摘要： 1、What is Scrapy? 答：Scrapy是一个使用python语言（基于Twistec框架）编写的开源网络爬虫框架，其结构清晰、模块之间的耦合程度低，具有较强的扩张性，能满足各种需求。（前面我们介绍了使用requests、beautifulsoup、selenium等相当于你写作文题，主 阅读全文

摘要： 1、What is Pyquery? 答：灵活强大的网页解析库 2、安装： pip3 install pyquery 3、基本使用 初始化操作： 前言：在介绍之前小伙伴们我们先来了解下CSS的基本语法：http://www.w3school.com.cn/cssref/css_selectors.a 阅读全文

摘要： 1、什么是爬虫？ 答：请求网站并提取数据的自动化程序 2、爬虫的基本流程 （1）、发送请求： 通过Http库向目标站点发起请求，即发送一个Request,请求可以包含额外的headers等信息，等待服务器响应 （2）、获取响应内容 如服务器正常响应，即返回一个Response对象，其内容即为所要获取 阅读全文

摘要： 前言： 有时我们在使用requests抓取数据时得到的返回结果会与浏览器中看到的内容不一致，这是因为requests只能得到原始的HTML文挡，而浏览器的页面是通过javascript处理数据后生成的，这些数据的来源可能是Ajax加载的；可能是包含在HTML文档中的，也有可能是javascript+ 阅读全文

摘要： 1、BeautifulSoup4库简介 What is beautifulsoup ? 答：一个可以用来从HTML 和 XML中提取数据的网页解析库，支持多种解析器（代替正则的复杂用法） 2、安装 pip3 install beautifulsoup4 3、用法详解 （1）、解析器性能分析（第一个参 阅读全文

摘要： 1、启动pycharm 首先咱们新建一个项目名字大家可以自己设定 接着新建一个spider.p文件 运行结果： 小伙伴们可是将其中的美食字样该为其他想要获取的淘宝商品数据尝试运行下，是不是挺有意思的，哈哈！ 阅读全文

摘要： 1、打开官网https://www.mongodb.com/download-center?jmp=nav#community 注:这里小伙伴们可是开启下FQ软件psiphon 3下载（不开启FQ好像出不来下载界面，我也搞不懂怎么回事！） 2、打开安装包一路默认但将其中的install the co 阅读全文

摘要： 第一章 1、Anaconda(最著名的python数据科学平台) 下面小伙伴们咱们来初初识下Anaconda吧 What is Anaconda???? 回答： (1)、科学计算的平台 (2)、有很多方便的包可供咱们使用 (3)、跨平台：Mac \Linux\Windows (4)、最重要的是：开源 阅读全文

摘要： 1、百度一下：mysql 2、运行安装包（小伙伴们一路默认即可） 、 设置下密码： 3、打开计算机管理查看mysql服务是否开启 4、安装mysql-front(mysql 可视化工具) 百度一下mysql-front 一路默认到 单击打开进去mysql 可视化界面（小伙伴们可以操作了） 阅读全文

摘要： 部分运行效果图： 阅读全文