摘要：（ZKFC在NameNode上启动，NodeManager在DataNode上启动，可通过start-dfs.sh和start-yarn.sh，yarn-daemons.sh查看） 1、4台机器，64位cenos6.5系统，Hadoop版本2.6.5 2、配置/etc/hosts 3、安装JDK1.
阅读全文
|
|
10 2018 档案
摘要：（ZKFC在NameNode上启动，NodeManager在DataNode上启动，可通过start-dfs.sh和start-yarn.sh，yarn-daemons.sh查看） 1、4台机器，64位cenos6.5系统，Hadoop版本2.6.5 2、配置/etc/hosts 3、安装JDK1.
阅读全文
摘要：一、简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务 HBase – Had
阅读全文
摘要：本地测试环境(windows)：1、在windows下配置hadoop的环境变量2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录，注意winutils.exe的版本要与hadoop版本对应，否则可能会报错。3、修改hadoop的源码 ，注意：确保项目的lib需要真实
阅读全文
摘要：1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的re
阅读全文
摘要：一、HDFS简介 HDFS为了做到可靠性（reliability）创建了多分数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（computer nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 1.1 HDFS数据存储单元（blo
阅读全文
摘要：Zookeeper基础知识 1.zookeeper是一个类似hdfs的树形文件结构，zookeeper可以用来保证数据在(zk)集群之间的数据的事务性一致、 2.zookeeper有watch事件，是一次性触发的，当watch监视的数据发生变化时，通知设置了该watch的client，即watche
阅读全文
摘要：一.Redis 简介 1.Redis解释:Redis 是一个基于key-value形式进行存储的内存型数据库. 1.1 数据存储方式为key-value 1.2 数据存储在内存中. 1.2.1 优点:效率高.理论值:每秒10K数据读取. 1.3 定位:数据库软件. 1.3.1 作用:存储数据. 2.
阅读全文
摘要：一 简介 Apache Curator是一个比较完善的ZooKeeper客户端框架，通过封装的一套高级API 简化了ZooKeeper的操作。通过查看官方文档，可以发现Curator主要解决了三类问题： 封装ZooKeeper client与ZooKeeper server之间的连接处理 提供了一套
阅读全文
摘要：目录 数据类型堆与栈Java对象的大小引用类型按照基本回收策略分按分区对待的方式分按系统线程分如何区分垃圾如何处理碎片如何解决同时存在的对象创建和对象回收问题为什么要分代如何分代什么情况下触发垃圾回收分代垃圾回收流程示意选择合适的垃圾收集算法小结回收器选择辅助信息常见配置汇总调优总结垃圾回收的瓶颈增
阅读全文
摘要：一.SpringMVC 简介1.SpringMVC 中重要组件 1.1 DispatcherServlet : 前端控制器,接收所有请求(如果配置/不包含 jsp) 1.2 HandlerMapping: 解析请求格式的.判断希望要执行哪个具体的方法. 1.3 HandlerAdapter: 负责调
阅读全文
|
