摘要: Hadoop集群搭建 发行版本集群简介HDFS集群负责海量数据的存储YARN集群负责海量数据运算时的资源调度MapReduceHadoop部署方式分类集群按以上分布的原因具体搭建步骤搭建前准备1.准备Linux环境1.0 配置好各虚拟机的网络(采用NAT联网模式)1.1修改各个虚拟机主机名1.2修改主机名和IP的映射关系1.3关闭防火墙1.4.配置ssh免登陆1.5 同步集群时间注:在分布式集群环... 阅读全文
posted @ 2018-05-09 11:14 Luckyness 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 数据分析1.数据分析定义2.数据分析的作用3.数据分析的基本步骤 3.1明确分析目的和思路3.2数据收集3.3数据处理3.4数据分析 (过程中的重点,必须确保正确)3.5数据展现3.6报告撰写 4.数据分析行业前景4.1蓬勃发展的趋势4.2数据分析师职业要求5.随着科技发展带来的挑战5.1分布式系统5.2海量数据处理 数据分析 1.数据分析定义 数据: 计量和记录一起促成了数据的诞生 数据... 阅读全文
posted @ 2018-05-09 11:13 Luckyness 阅读(362) 评论(0) 推荐(0) 编辑
摘要: yum -y install lrzsz设置文本格式修改文件编码格式tail -f 和 -F的区别同步集群时间配置ssh免登陆echo的快速向文件写入信息whereiswhichCrontab定时任务实时查看文件如日志信息网络端口监听系统服务管理配置后台服务进程的开机自启配置hosts 域名映射创建文件夹目录安装jdk配置环境变量虚拟机克隆配置本地yum源 yum -y install lrzs... 阅读全文
posted @ 2018-05-09 11:11 Luckyness 阅读(227) 评论(0) 推荐(0) 编辑