2019年1月2日
摘要: 1 新建一个maven项目 打印根目录下的文件的名字 添加pom依赖 pom.xml 2 测试 运行结果如下图 阅读全文
posted @ 2019-01-02 23:42 o_0的园子 阅读(627) 评论(0) 推荐(0) 编辑
摘要: 1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linu... 阅读全文
posted @ 2019-01-02 22:24 o_0的园子 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 1) 数据采集:定制开发采集程序,或使用开源框架FLUME 2) 数据预处理:定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术:基于hadoop之上的Hive 4) 数据导出:基于hadoop的sqoop数据导入导出工具 5) 数据可视化:定制开发web程序或使用kettle 阅读全文
posted @ 2019-01-02 22:14 o_0的园子 阅读(1526) 评论(0) 推荐(0) 编辑
摘要: #解决海量数据的存储问题 分布式文件系统(HDFS) 1、具有分布式的集群结构 我们把这样实际存储数据的节点叫做 datanode 2、具有一个统一对外提供查询 存储 搜索 机器节点 对外跟客户端统一打交道 对内跟实际存储数据的节点打交道 3、具有备份的机制 解决了机器挂掉时候数据丢失的问题 4、具 阅读全文
posted @ 2019-01-02 21:17 o_0的园子 阅读(995) 评论(0) 推荐(0) 编辑