随笔分类 -  hadoop

ETL
摘要：日志采集、加工、分析、归档有着一套流程。 阅读全文
posted @ 2017-07-05 22:39 N神3 阅读(118) 评论(0) 推荐(0) 编辑
HBase随机读写
摘要：HDFS不太适合做大量的随机读应用，但HBASE却特别适合随机的读写 个人理解： 1、数据库一般都会有一层缓存，任何对数据的更改实际上是先更改内存中的数据。然后有异步的守护进程负责将脏页按照一定策略刷新到磁盘空间中去。这就可以大大降低软件对于磁盘随机操作的频度。 2、HDFS读取会进行全文件查找耗时 阅读全文
posted @ 2017-07-04 23:05 N神3 阅读(2571) 评论(0) 推荐(0) 编辑
hadoop集群搭建实践
摘要：一、Linux配置1、设置hosts的ip(集群机器做同样操作)vi /etc/hosts192.168.91.129 master192.168.91.130 slave #互相ping通即可 ping masterping slave 2、关闭防火墙(集群机器做同样操作)setup 3、修改主机 阅读全文
posted @ 2017-07-02 19:23 N神3 阅读(631) 评论(0) 推荐(0) 编辑