Bigdickdick - 博客园

2019年6月

摘要：豆瓣电影网-《复仇者联盟4》影评一：将爬虫大作业产生的csv文件上传到HDFS 首先我把爬到的评论先进行预处理然后上传到HDFS里面查看前5条评论，看看是否上传成功二：对数据进行分割处理执行deal.sh 对数据进行分割预处理并输出形成lht.txt 三.把hdfs中的文本文件最终导入到数阅读全文

posted @ 2019-06-17 15:30 Bigdickdick 阅读(278) 评论(0) 推荐(0) 编辑

分布式并行计算MapReduce

摘要：分布式并行计算MapReduce 一、用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 1.HDFS: Hadoop Distributed File System Hadoop分布式文件系统 1.1功能： 1.兼容廉价的硬件设备。2.流数据的读写。3.大数据阅读全文

posted @ 2019-06-11 20:49 Bigdickdick 阅读(478) 评论(0) 推荐(0) 编辑

2019年5月

安装关系型数据库MySQL 安装大数据处理框架Hadoop

摘要：一.简述Hadoop平台的起源、发展历史与应用现状。 Hadoop的起源2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gu 阅读全文

posted @ 2019-05-13 10:34 Bigdickdick 阅读(237) 评论(0) 推荐(0) 编辑

2019年4月

爬取全部的校园新闻

摘要：爬取全部的校园新闻改作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 一、要求： 1.从新闻url获取新闻详情：字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3. 阅读全文

posted @ 2019-04-11 14:41 Bigdickdick 阅读(201) 评论(0) 推荐(0) 编辑

获取一篇新闻的全部信息

摘要：作业——06 获取一篇新闻的全部信息作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl，获取该新闻的全部信息标题、作者、发布单位、审核、来源发布时间:转换成datetime 阅读全文

posted @ 2019-04-02 22:58 Bigdickdick 阅读(134) 评论(0) 推荐(0) 编辑

2019年3月

理解爬虫原理

摘要：爬虫原理爬虫原理 1. 简单说明爬虫原理向网站发送请求，获取网页资源并提取所需要的数据。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理；浏览器工作原理的实质就是实现http协议的通讯，具体过程如下：(HTTP通信的流程，大体分为三个阶段) 连接，服务器通过一个ServerSocket类阅读全文

posted @ 2019-03-25 17:31 Bigdickdick 阅读(205) 评论(0) 推荐(0) 编辑

中文词频统计

摘要：中文词频统计这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba imp 阅读全文

posted @ 2019-03-18 16:10 Bigdickdick 阅读(174) 评论(0) 推荐(0) 编辑

复合数据类型，英文词频统计

摘要：作业要求来自于https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表，元组，字典，集合分别如何增删改查及遍历。列表增加元素： append()方法：在列表的末尾增加一个元素 insert()方法：在列表指定的位置上增加一个阅读全文

posted @ 2019-03-14 11:00 Bigdickdick 阅读(197) 评论(0) 推荐(0) 编辑

字符串、文件操作，英文词频统计预处理

摘要： [大数据]数据预处理 1.字符串操作：解析身份证号：生日、性别、出生地等。地址码：表示编码对象常住户口所在县(市、旗、区)的行政区划代码。出生日期码：表示编码对象出生的年、月、日，年、月、日代码之间不用分隔符，格式为YYYYMMDD，如19880328。顺序码：表示在同一地址码所标识的区域阅读全文

posted @ 2019-03-04 16:54 Bigdickdick 阅读(204) 评论(0) 推荐(0) 编辑

2019年2月

了解大数据的特点、来源与数据呈现方式

摘要： 1.分析所采用数据的来源有哪些？（1）交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户关系管理(CRM)系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。（2）移动通信数据。能够上网的智能手机等移动设备越来阅读全文

posted @ 2019-02-25 11:24 Bigdickdick 阅读(319) 评论(0) 推荐(0) 编辑

公告