随笔分类 -  【1367 微职位】

《大数据微职位笔记》
【模块04-大数据技术入门】02节-HDFS核心知识
摘要：分布式存储 （1） 5PB甚至更大的数据集怎么存储 ？ 所有数据分块，每个数据块冗余存储在多台机器上（冗余可提高数据块高可用性）。另外一台机器上启动一个管理所有节点、以及存储在各节点上面数据块的服务。 （2）分布式存储集群： master/slave结构集群 存在于slave上的文件：表示真实存放数 阅读全文
posted @ 2019-03-12 23:55 李子恒 阅读(269) 评论(0) 推荐(0) 编辑
【模块04-大数据技术入门】01节-需要的基础知识
摘要：第一章HDFS课程内容 1-1课程内容 第二章 Maven 2-1 Java开发环境搭建说明 1.安装JDK和JRE：开发使用工具和JAVA运行环境 2.IntelliJ IDEA安装：比eclipse，内存更少一些，较新的工具使用比较灵活。 2-2 JAVA开发环境搭建（Windows） 1.JD 阅读全文
posted @ 2018-11-26 23:43 李子恒 阅读(188) 评论(0) 推荐(0) 编辑
【大数据微职位笔记】模块03-大数据集群需要基本环境
摘要：目录 1.搭建虚拟机vmtest 2.搭建一主两从虚拟机master slave1 slave2 2.1 克隆3台虚拟机，创建hadoop-twq用户 2.2 配置IP和主机名 2.3 关闭NetworkManager 2.4 关闭防火墙 2.5 配置SSH免密登录 2.6 NTP时间同步 2.7 阅读全文
posted @ 2018-09-25 07:37 李子恒 阅读(264) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示