会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
liliguang
hadoop综合大作业
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1、把python爬取的数据传到linux 2.制作预处理脚本 3、把数据的逗号代替为 \t转义字符 4、启动hadoop集群 5、把数据文件上传到hdfs 6、启动h
阅读全文
posted @ 2019-06-20 21:21 liliguang
阅读(154)
评论(0)
推荐(0)
编辑
利用Shell命令与HDFS进行交互
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的
阅读全文
posted @ 2019-06-04 20:46 liliguang
阅读(789)
评论(0)
推荐(0)
编辑
安装Hadoop
摘要: 前言:本次demo使用mac安装hadoop 1.首先官网下载hadoop 2.创建hadoop用户 3.配置无密码ssh 3.安装jdk 4.伪分布式修改配置文件 5.使用jps测试是否启动成功
阅读全文
posted @ 2019-05-16 20:16 liliguang
阅读(107)
评论(0)
推荐(0)
编辑
爬取猫眼电影影评
摘要: 主题:对即将上映的大侦探皮卡丘电影保持什么态度? 主要内容 蒂姆·古德曼(贾斯提斯·史密斯 饰) 为寻找下落不明的父亲来到莱姆市,意外与父亲的前宝可梦搭档大侦探皮卡丘(瑞恩·雷诺兹 配音)相遇,并惊讶地发现自己是唯一能听懂皮卡丘说话的人类,他们决定组队踏上揭开真相的刺激冒险之路。探案过程中他们邂逅了
阅读全文
posted @ 2019-05-09 21:28 liliguang
阅读(2908)
评论(0)
推荐(0)
编辑
爬取全部校园新闻
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge
阅读全文
posted @ 2019-04-15 15:30 liliguang
阅读(226)
评论(0)
推荐(0)
编辑
理解爬虫原理
摘要: 1. 简单说明爬虫原理 爬虫的原理是通过模拟请求的方式去访问相关的开放页面,通过代码的方式去模拟触发网页的点击和跳转,通过流的方式获取到请求响应后的整个html信息,再通过一些工具类去筛选这些信息中包含的有用的信息; 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 游览器通过输入url的请求
阅读全文
posted @ 2019-03-29 21:56 liliguang
阅读(264)
评论(0)
推荐(0)
编辑
中文词频统计与词云生成
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 一. 下载一长篇中文小说。 下载了《都市愛情故事》 二. 从文件读取待分析文本,处理标点符号和格式符。 代码如下: 1 2 3 4 text=open('60380.t
阅读全文
posted @ 2019-03-25 17:08 liliguang
阅读(672)
评论(0)
推荐(0)
编辑
复合数据类型,英文词频统计
摘要: 作业要求来自于 https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表 1.增加 list.append(obj) 增加元素到末尾 LOL = ['阿达', '阿萨德']LOL
阅读全文
posted @ 2019-03-22 15:04 liliguang
阅读(181)
评论(0)
推荐(0)
编辑
字符串操作、文件操作,英文词频统计预处理
摘要: 一.字符串操作 1、解析身份证号:生日、性别、出生地等。 代码如下: 2、凯撒密码编码与解码 代码如下: # 加密函数 3、网址观察与批量生成 代码如下: 二.英文词频统计预处理 代码版: 代码如下: 运行结果: 三.文件操作 1、凯撒密码:从文件读入密函,进行加密或解密,保存到文件。 代码如下:
阅读全文
posted @ 2019-03-11 19:51 liliguang
阅读(176)
评论(0)
推荐(0)
编辑
了解大数据的特点、来源与数据呈现方式
摘要: 0.作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.这些分析所采用数据的来源是什么? (1)交易数据 例如人们乘坐交通运输工具所产生的交易数据 在淘宝、京东等购物网站上的消费数据 例如人们乘坐交通运输工具所产生的
阅读全文
posted @ 2019-03-01 17:06 liliguang
阅读(378)
评论(0)
推荐(0)
编辑
下一页
导航
博客园
首页
联系
订阅
管理
公告