zourui4271

摘要： 随着计算机行业的飞速发展，摩尔定律逐渐失效，多核CPU成为主流。使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器。J.U.C提供的线程池：ThreadPoolExecutor类，帮助开发人员管理线程并方便地执行并行任务。了解并合理使用线程池，是一个开发人员必修的基本功。 本文开篇简述线程池 阅读全文

摘要： https://www.jianshu.com/p/6c681eb699b8 阅读全文

摘要： 先解释一下几个名词： metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书库mysql中，在测试阶段也可以用hive内置Derby数据库。 metastore ：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce， 阅读全文

摘要： 继续说一下Kerberos与Hadoop的集成。 其实这个话题在网上已经很普遍了，没什么太新鲜的。就是顺带说一下吧，Hadoop账号的集成与管理。 之前已经装了kdc和kadmin，所以接下来就需要创建hadoop相关的账号了。 首先需要用kadmin进入kerberos管理prompt，这里需要输 阅读全文

摘要： 重要术语 1. KDC 全称：key distributed center 作用：整个安全认证过程的票据生成管理服务，其中包含两个服务，AS和TGS 2. AS 全称：authentication service 作用：为client生成TGT的服务 3. TGS 全称：ticket grantin 阅读全文

摘要： 数据存储：使用相同的存储数据池都支持把数据存储于HDFS, HBase。 元数据：两者使用相同的元数据。 SQL解释处理：比较相似都是通过词法分析生成执行计划。 执行计划：Hive: 依赖于MapReduce执行框架，执行计划分成map->shuffle->reduce->map->shuffle- 阅读全文

摘要： 这是和HDFS系统底层设计实现有关系的，HDFS本身的设计就是用来解决海量大文件数据的存储.，他天生喜欢大数据的处理，大文件存储在HDFS中，会被切分成很多的小数据块，任何一个文件不管有多小，都是一个独立的数据块，而这些数据块的信息则是保存在元数据中的，在之前的博客HDFS基础里面介绍过在HDFS集 阅读全文

摘要： https://bigdata.163yun.com/product/article/60 阅读全文

摘要： 由于不同企业的发展阶段，以及企业管理对信息化认识的不同，将决定了企业对于信息化的资金投入的差异。应该说“预算决定了定位”，一个公司给CIO的预算，预示公司对信息化的重视程度。当然CIO身入其中，很难改变企业对自身的定位，只有当公司快速发展或领导层成长后才能获得定位的突破。 CIO普遍的成长路径是“纯 阅读全文

摘要： “我的企业目前在数据应用上处于什么水平？接下来应该向哪个方向努力？”本文试图帮助企业决策者和 IT 负责人解答这一问题。 今天，数据之于企业的重要性，已经勿须多言，建设数据驱动型企业也已成为众多企业的战略目标之一。在这一趋势的引领下，很多企业开始了新一代数据平台（例如数据中台）的建设工作，然而在启动 阅读全文