7.29假期
摘要:1. 项目名称:信息化领域热词分类分析及解释 2. 功能设计: 1) 数据采集:要求从定期自动从网络中爬取信息领域的相关热 词; 2) 数据清洗:对热词信息进行数据清洗,并采用自动分类技术 生成信息领域热词目录,; 3) 热词解释:针对每个热词名词自动添加中文解释(参照百度 百科或维基百科); 4)
阅读全文
7.22假期
摘要:本周重新配置了centos7.5的虚拟机,为学习Hadoop做准备,初步学习了大数据的基本概念对,MapReduce、yarn、hdfs有了初步了解, 完整的词频统计程序import java.io.IOException;import java.util.Iterator;import java.
阅读全文
7.15假期
摘要:hdfs的操作 1. 目录操作需要注意的是,Hadoop系统安装好以后,第一次使用HDFS时,需要首先在HDFS中创建用户目录。本教程全部采用hadoop用户登录Linux系统,因此,需要在HDFS中为hadoop用户创建一个用户目录,命令如下:$ cd /usr/local/hadoop$ ./b
阅读全文
7.8假期
摘要:今天学习了大数据的一些基本的概念。 什么是Hadoop: 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点:大量、高效、多样(结构化数据和非结构化数据)、低价值密度。 Hadoop的三大发行版本: Apache、cloundera、hortonworks。 当然现在clounde
阅读全文
假期7.2
摘要:大数据学习 一、开始学习Hadoop安装 Ubuntu默认已安装了SSH客户端,因此,这里还需要安装SSH服务端,请在Linux的终端中执行以下命令:$ sudo apt-get install openssh-server安装后,可以使用如下命令登录本机:$ ssh localhost执行该命令后
阅读全文