会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
天生自然
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
上一页
1
···
132
133
134
135
136
137
138
139
140
···
276
下一页
2020年1月8日
吴裕雄--天生自然HADOOP操作实验学习笔记:分布式资源调度系统yarn的安装
摘要: 实验目的 复习配置hadoop初始化环境 复习配置hdfs的配置文件 学会配置hadoop的配置文件 了解yarn的原理 实验原理 1.yarn是什么 前面安装好了hdfs文件系统,我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储,接下来的问题就是根据实际的业务需求进行计算。目前大数据
阅读全文
posted @ 2020-01-08 00:53 吴裕雄
阅读(267)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:tf-idf算法
摘要: 实验目的 通过实验了解tf-idf算法原理 通过实验了解mapreduce的更多组件 学会自定义分区,读写缓存文件 了解mapreduce程序的设计方法 实验原理 1.TF-IDF简介 TF-IDF(term frequency–inverse document frequency)是一种用于资讯检
阅读全文
posted @ 2020-01-08 00:43 吴裕雄
阅读(310)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hive安装
摘要: 实验目的 了解hive的原理和安装方式 学习使用MySQL数据库 使用hive进行基本操作 实验原理 1.Hive Hive是一个数据仓库技术,包括解释器、编译器、优化器,一次将一个sql语句装化为mapreduce代码,然后对代码进行编译,最后优化执行。实质是一个客户端程序,类似jsp和servl
阅读全文
posted @ 2020-01-08 00:25 吴裕雄
阅读(228)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hdfs分布式文件系统安装
摘要: 实验目的 复习安装jdk 学习免密码登录 掌握安装配置hdfs集群的方法 掌握hdfs集群的简单使用和检查其工作状态 实验原理 1.hdfs是什么 hadoop安装的第一部分是安装hdfs,hdfs是一个磁盘文件系统,提供的功能类似于本地文件系统一样,可以通过命令进行增删改查文件,不同的是,hdfs
阅读全文
posted @ 2020-01-08 00:09 吴裕雄
阅读(218)
评论(0)
推荐(0)
编辑
2020年1月7日
吴裕雄--天生自然HADOOP操作实验学习笔记:单节点伪分布式安装
摘要: 实验目的 了解java的安装配置 学习配置对自己节点的免密码登陆 了解hdfs的配置和相关命令 了解yarn的配置 实验原理 1.Hadoop安装 Hadoop的安装对一个初学者来说是一个很头疼的事情,要一步安装好整个hadoop集群难度特别大,所以一个快捷的学习方法是边安装边学习,安装的时候,先搭
阅读全文
posted @ 2020-01-07 23:46 吴裕雄
阅读(152)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:安装zookeeper集群
摘要: 实验目的 了解zookeeper的概念和原理 学会安装zookeeper集群并验证 掌握zookeeper命令使用 实验原理 1.Zookeeper介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服
阅读全文
posted @ 2020-01-07 22:24 吴裕雄
阅读(247)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hadoop框架认识以及基本操作
摘要: 实验目的 了解Hadoop的概念和原理 学习HDFS架构原理 熟悉mapreduce框架 熟悉mapred和yarn命令 实验原理 1.hadoop和hadoop生态系统 hadoop的思想来源是Google,Google曾经面对一个问题,大量的网页怎么存储,怎么快速搜索的问题,于是三篇论文诞生了G
阅读全文
posted @ 2020-01-07 22:12 吴裕雄
阅读(236)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP学习笔记:基本环境配置
摘要: 实验目的 学习安装Java 学习配置环境变量 学习设置免密码登陆的方法 掌握Linux环境下时间同步的配置 实验原理 1.Java的安装 java是大数据的黄金语言,这和java跨平台的特性是密不可分的,大数据的大部分框架,包括hadoop、hbase、tachyon等,都是用java实现,而spa
阅读全文
posted @ 2020-01-07 22:00 吴裕雄
阅读(143)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP学习笔记:使用yum安装更新软件
摘要: 实验目的 了解yum的原理及配置 学习软件的更新与安装 学习源代码编译安装 实验原理 1.编译安装 前面我们讲到了安装软件的方式,因为linux是开放源码的,我们可以直接获得源码,自己编译安装。例如:新建一个hello.c的文件,在里面添加一下内容: #include <stdio.h> int m
阅读全文
posted @ 2020-01-07 21:53 吴裕雄
阅读(242)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP学习笔记:Shell工具使用
摘要: 实验目的 学习使用xshell工具连接Linux服务器 在连上的服务器中进入用户目录 熟悉简单的文件操作命令 实验原理 熟悉shell命令是熟悉使用linux环境进行开发的第一步,我们在linux的交互式命令行输入的每一个命令都是一个shell指令,Shell本质是一个用C语言编写的程序,它是用户使
阅读全文
posted @ 2020-01-07 21:40 吴裕雄
阅读(214)
评论(0)
推荐(0)
编辑
上一页
1
···
132
133
134
135
136
137
138
139
140
···
276
下一页