摘要: 本次所以的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 前言 本次作业是爬取拉勾网python相关岗位的信息,通过爬取岗位id、城市、公司全名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作 阅读全文
posted @ 2019-06-12 22:45 Molly134 阅读(1502) 评论(1) 推荐(0) 编辑
摘要: 本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 前言 本次作业是在《爬虫大作业》的基础上进行的,在《爬虫大作业》中,我主要对拉勾网python岗位的招聘信息进行的数据爬取,最终得到了2641条数据存在一个名 阅读全文
posted @ 2019-06-12 01:14 Molly134 阅读(3939) 评论(1) 推荐(0) 编辑
摘要: 本次作业在要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 1)HDFS HDFS是分布式文件系统,用来存储海量数据。HDF 阅读全文
posted @ 2019-06-03 17:00 Molly134 阅读(741) 评论(0) 推荐(0) 编辑
摘要: 本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为inp 阅读全文
posted @ 2019-06-02 22:53 Molly134 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 1.安装MySql 按ctrl+alt+t打开终端窗口,安装mysql需要输入命令:sudo apt-get install mysql-server 输入命 阅读全文
posted @ 2019-05-07 21:56 Molly134 阅读(323) 评论(0) 推荐(0) 编辑
摘要: 本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 前言 本次作业是爬取CBO中国票房2010-2019年每年年度票房排名前25的电影,通过爬取电影的名称、类型、总票房(万)、平均票价、均场人次、国家及地区以及 阅读全文
posted @ 2019-04-28 19:32 Molly134 阅读(2688) 评论(1) 推荐(0) 编辑
摘要: 本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 前言 本次我爬取的是广州商学院校园新闻的全部信息,即我给出校园新闻的网址,通过网址我们可以爬取校园新闻的作者、发布时间、概述、来源等,由于新闻较多,所以在这里 阅读全文
posted @ 2019-04-08 11:57 Molly134 阅读(708) 评论(0) 推荐(0) 编辑
摘要: 本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 目标:给定一篇新闻的链接newsUrl,获取该新闻的全部信息:标题、作者、发布单位、审核、来源、发布时间、点击次数等,并把整个过程包装成一个简单清晰的函数。 阅读全文
posted @ 2019-04-01 14:31 Molly134 阅读(224) 评论(0) 推荐(0) 编辑
摘要: 本次作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 爬虫原理 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 2).使用 requests 库抓取网站数据 我们可以利用 requests.get 阅读全文
posted @ 2019-03-27 22:03 Molly134 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 本次作业在要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计步奏 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba im 阅读全文
posted @ 2019-03-18 21:32 Molly134 阅读(351) 评论(0) 推荐(0) 编辑