2019年6月20日

Hadoop综合大作业总评

摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1、把python爬取的数据传到linux 2、把数据的逗号代替为 \t转义字符 3、启动hadoop集群 4、启动hive 5、创建数据库 6、创建表并把hdfs的数 阅读全文

posted @ 2019-06-20 17:10 hyf751190951 阅读(198) 评论(0) 推荐(0) 编辑

2019年5月16日

安装Hadoop

摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux,MySql 安装mysql成功 mysql启动成功 2.windows 与 虚拟机互传文件 设置共享文件夹: 2.windows 与 虚拟机互传文件 阅读全文

posted @ 2019-05-16 14:41 hyf751190951 阅读(137) 评论(0) 推荐(0) 编辑

2019年4月15日

爬取全部的校园新闻

摘要: 作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 1.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.g 阅读全文

posted @ 2019-04-15 15:14 hyf751190951 阅读(138) 评论(0) 推荐(0) 编辑

2019年4月1日

理解爬虫原理

摘要: 1. 简单说明爬虫原理 1、向服务器发起请求 2、获取响应内容 3、解析内容 4、保存内容 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 浏览器的主要功能是向服务器发出请求,在浏览器中展示选择的网路资源,一般资源就是HTML文档,也可以是PDF, IMGAGE,或者其他类型,资源的位置由用 阅读全文

posted @ 2019-04-01 15:21 hyf751190951 阅读(124) 评论(0) 推荐(0) 编辑

2019年3月25日

中文词频统计与词云生成

摘要: 中文词频统计 1. 下载一长篇中文小说。 《 神雕侠侣》金庸 2. 从文件读取待分析文本。 text=open('artical.txt',encoding='utf-8').read(); e=''',,.。??!!-::《》< >"“”、\n \r \u3000 \ufeff''' for i  阅读全文

posted @ 2019-03-25 17:28 hyf751190951 阅读(112) 评论(0) 推荐(0) 编辑

复合数据类型,英文词频统计

摘要: 本次作业来源https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表操作: 2.元组 3.词频统计 import pandas as pdfile=open('artical.t 阅读全文

posted @ 2019-03-25 16:08 hyf751190951 阅读(135) 评论(0) 推荐(0) 编辑

2019年3月11日

字符串操作

摘要: 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 3.文件操作 凯撒密码:从文件读入密函,进行加密或解密,保存到文件。 词频统计:下载一首英文的歌词或文章或小说,保存为utf8文件。从文件读入文本进行处理。 4.函数定义 1、加密 阅读全文

posted @ 2019-03-11 16:58 hyf751190951 阅读(151) 评论(0) 推荐(0) 编辑

2019年3月1日

了解大数据的特点、来源与数据呈现方式

摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313 阅读全文

posted @ 2019-03-01 17:31 hyf751190951 阅读(321) 评论(0) 推荐(0) 编辑

2018年10月24日

结对项目-四则运算 “软件”之升级版

摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2213 我的github远程仓库的地址:https://github.com/hyf751190951/hyf 一、从个人项目出发,将程序改造成一个单机带用户界面(不是控制台) 阅读全文

posted @ 2018-10-24 17:14 hyf751190951 阅读(164) 评论(0) 推荐(0) 编辑

2018年10月9日

个人项目-小学四则运算 “软件”之初版

摘要: 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2166 我的github远程仓库的地址:https://github.com/hyf751190951/hyf 第一部分:要求 具体要求:任何编程语言都可以,命令行程 阅读全文

posted @ 2018-10-09 20:03 hyf751190951 阅读(223) 评论(1) 推荐(0) 编辑

导航