摘要：
一、数据分析截图 本例实验，使用Weka 3.7对腾讯招聘官网中网页上所罗列的招聘信息，如：其中的职位名称、链接、职位类别、人数、地点和发布时间等信息进行数据分析，详见如下图： 图1-1 Weka 3.7分析界面图1-2 职位数据ZeroR分析界面图1-3 数据聚类分析界面图1-4 数据Visualize分析界面二、数据分析结论 由图2-1可知，随着应聘人数的不断增加，... 阅读全文
摘要：
1.tencentSpider.py 2.items.py 3.main.py 4.middlewares.py 5.pipelines.py 6.settings.py 阅读全文
摘要：
通过使Scrapy框架，进行数据挖掘和对web站点页面提取结构化数据，掌握如何使用Twisted异步网络框架来处理网络通讯的问题，可以加快我们的下载速度，也可深入接触各种中间件接口，灵活的完成各种需求，使得我们的爬虫更强大、更高效。 熟悉掌握基本的网页和url分析，同时能灵活使用Xmind工具对Python爬虫程序（网络爬虫）流程图进行分析。同时，使用Weka 3.7工具，... 阅读全文
摘要：
一、数据分析截图(weka数据分析截图 ) 本例实验，使用Weka 3.7对豆瓣电影网页上所罗列的上映电影信息，如：标题、主要信息（年份、国家、类型）和评分等的信息进行数据分析，Weka 3.7数据分析如下所示：图1-1 数据分析主界面图1-2 OneR数据分析界面图1-3 ZeroR数据分析界面图1-4 Visualize数据分析界面二、数据分析结论：（将数据之间的关系用文字性描... 阅读全文
摘要：
一、项目目录结构spiders文件夹内包含doubanSpider.py文件，对于项目的构建以及结构逻辑，详见环境搭建篇。二、项目源码1.doubanSpider.py# -*- coding: utf-8 -*-import scrapyfrom douban.items import DoubanItem#创建爬虫类class DoubanspiderSpider(scrapy.Spider)... 阅读全文
摘要：
通过使Scrapy框架，掌握如何使用Twisted异步网络框架来处理网络通讯的问题，进行数据挖掘和对web站点页面提取结构化数据，可以加快我们的下载速度，也可深入接触各种中间件接口，灵活的完成各种需求，使得我们的爬虫更强大、更高效。 一、项目分析 豆瓣电影网页爬虫，要求使用scrapy框架爬取豆瓣电影 Top 250网页（https://movie.douban.com... 阅读全文
摘要：
一、数据分析截图(weka数据分析截图 2-3个图，作业文字描述) 本次将所爬取的数据信息，如：房间数，直播类别和人气，导入Weka 3.7工具进行数据分析。有关本次的数据分析详情详见下图所示： 图1-1 数据分析Preprocess界面对于本例实验，以下将以直播类型为例分别进行分类和聚类运算，具体如下图所示：图1-2 ZeroR分类运算界面图1-3 EM聚类运算界面二、数据分析结... 阅读全文
摘要：
要求编写的程序可爬取斗鱼直播网站上的直播信息，如：房间数，直播类别和人气等。熟悉掌握基本的网页和url分析，同时能灵活使用Xmind工具对Python爬虫程序（网络爬虫）流程图进行分析。 一、项目分析1. 网页分析 斗鱼直播网站按直播类型明显在网页上划分区域，同时在每一种类型区域中，视频标签框都将具有相同的class名称，如：直播房间的class名称为：ellipsis，... 阅读全文
摘要：
要求编写的程序可获取任一贴吧页面中的帖子链接，并爬取贴子中用户发表的图片，在此过程中使用user agent 伪装和轮换，解决爬虫ip被目标网站封禁的问题。熟悉掌握基本的网页和url分析，同时能灵活使用Xmind工具对Python爬虫程序（网络爬虫）流程图进行分析。 一、项目分析 1. 网页分析 贴吧页面简洁，所有内容让人一目了然，使用起来也较其他... 阅读全文