摘要:
1.简介 Redis在生产环境中一般是通过集群的方式进行运行,Redis集群包括主从复制集群和数据分片集群两种类型。 *主从复制集群提供高可用性,而数据分片集群提供负载均衡。 *数据分片集群中能实现主从复制集群的功能。 2.Redis主从复制集群 主从复制集群中由Master节点提供读写服务,Sla 阅读全文
摘要:
1.简介 Redis是一个基于内存的Key-Value非关系型数据库,由C语言进行编写。 Redis速度快的原因:基于内存、单线程、支持多路复用。 2.Redis的数据类型 Redis中提供了七种数据类型,分别是String、Hash、List、Set、ZSet、HyperLogLog、BitMap 阅读全文
摘要:
1.简介 使用线程池可以避免线程的频繁创建以及销毁。 JAVA中提供的用于实现线程池的API: Executor、ExecutorService、AbstractExecutorService、ThreadPoolExecutor、ForkJoinPool都位于java.util.concurren 阅读全文
摘要:
1.简介 Phoenix是一个HBase框架,可以通过SQL的方式来操作HBase。 Phoenix是构建在HBase上的一个SQL层,是内嵌在HBase中的JDBC驱动,能够让用户使用标准的JDBC来操作HBase。 Phoenix使用JAVA语言进行编写,其查询引擎会将SQL查询语句转换成一个或 阅读全文
摘要:
HBase HBase是一个基于HDFS的非关系型数据库(海量数据存储) HBase的特点 1.海量数据存储,HBase中的表可以容纳上百亿行x上百万列的数据。 2.列式存储,HBase中的数据是基于列进行存储的,能够动态的增加和删除列。 3.准实时查询,HBase在海量的数据量下能够接近准实时的查 阅读全文
摘要:
Hadoop高可用集群 由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成,一旦NameNode节点宕机,那么HDFS将不能进行文件的上传与下载。 由于一个Yarn集群由一个ResourceManager节点和多个NodeManager节点组成,一旦ResourceMana 阅读全文
摘要:
Hadoop集群管理 Hadoop是大数据通用处理平台,提供了分布式文件存储以及分布式离线并行计算,由于Hadoop的高拓展性,在使用Hadoop时通常以集群的方式运行,集群中的节点可达上千个,能够处理PB级的数据。 Hadoop各个模块剖析:https://www.cnblogs.com/funy 阅读全文
摘要:
Hadoop Hadoop是一款开源的大数据通用处理平台,其提供了3个组件,分别是HDFS分布式文件系统、YARN分布式资源调度、MapReduce分布式离线计算。 MapReduce适合大规模的数据同时对实时性要求不高的场景,不适合大量的小文件以及频繁修改的文件。 Hadoop的特点 1.水平扩展 阅读全文
摘要:
1.简介 JAVA中实现加锁是通过Synchronized关键字以及java.util.concurrent包下的相关类。 Java提供的用于实现加锁的相关API: Lock提供了比使用Synchronized同步方法和同步语句块更广泛的锁定操作。 2.java.util.concurrent包 L 阅读全文
摘要:
1.字典表(sys_dict) 作用:用于存放多组值不变的基础数据(基础数据的统一管理),只对系统提供查询功能. *记录的新增、更新、删除都是通过手动进行操作. *其中dict_code为dict_title的编码,相同dict_title的记录为同一组基础数据,每组基础数据下又有多对dict_va 阅读全文