随笔分类 - Hadoop
摘要：OpenPAI：大规模人工智能集群管理平台 2018年5月22日，在微软举办的“新一代人工智能开放科研教育平台暨中国高校人工智能科研教育高峰论坛”上，微软亚洲研究院宣布，携手北京大学、中国科学技术大学、西安交通大学和浙江大学四所国内顶尖高校共建新一代人工智能开放科研教育平台，以推动中国人工智能领域科
阅读全文
摘要：本文将会简单介绍Kubernetes的核心概念。因为这些定义可以在Kubernetes的文档中找到，所以文章也会避免用大段的枯燥的文字介绍。相反，我们会使用一些图表（其中一些是动画）和示例来解释这些概念。我们发现一些概念（比如Service）如果没有图表的辅助就很难全面地理解。在合适的地方我们也会提
阅读全文
摘要：How to use DBVisualizer to connect to Hbase using Apache PhoenixArticleDB Visualizer is a popular free tool that allows developers to organize development tools for RDBMS development. With Apache Phoe...
阅读全文
摘要：We are happy to announce the inclusion of Apache Phoenix in Cloudera Labs.[Update: A new package for Apache Phoenix 4.7.0 on CDH 5.7 was released in June 2016.]Apache Phoenix is an efficient SQL skin ...
阅读全文
摘要：问题导读：1.Cloudera Manager5如何使用cloudera-manager-installer.bin安装？2.Cloudera Manager5安装被中断该如何继续安装？还是重新安装？3.安装过程cloudera server与agent不能通信该如何解决？4.Cloudera Manager5安装是否有要求？5.安装服务的过程中，遇到错误，该如何解决？Cloudera Manag...
阅读全文
摘要：声明本文基于 Centos6.x + CDH5.x什么是PhoenixPhoenix的团队用了一句话概括Phoenix："We put the SQL back in NoSQL" 意思是：我们把SQL又放回NoSQL去了！这边说的NoSQL专指HBase，意思是可以用SQL语句来查询Hbase，你可能会说：“Hive和Impala也可以啊！”。但是Hive和Impala还可以查询文本文件，Pho...
阅读全文
摘要：问题导读：1.Cloudera Manager在线安装你认为有什么优点和缺点？2.Cloudera Manager安装过程中遇到，你认为该如何解决？3.在线安装addr.arpa domain name pointer localhost出现这个问题该如何解决？安装过程中，由于网络终端，导致下面问题：问题1：安装停止在获取安装锁/tmp/scm_prepare_node.tYlmPfrT usin...
阅读全文
摘要：Hive、Spark SQL、Impala比较 Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附
阅读全文
摘要：OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的...
阅读全文
摘要：What is SparkApache Spark is a cluster computing framework, similar to Apache Hadoop. Wikipedia has a great description of it:Apache Spark is an open source cluster computing framework originally deve...
阅读全文
摘要：作者：Xiaoyu Ma ，大数据工程师 大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每
阅读全文
摘要：Hadoop:http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.htmlbin/hdfs namenode -formatsbin/start-dfs.sh http://localhost:50070/ bin/hdfs dfs -mkdir /userbin/hdfs dfs...
阅读全文
摘要：Hadoop: Setting up a Single Node Cluster.Hadoop: Setting up a Single Node Cluster.PurposePrerequisitesSupported PlatformsRequired SoftwareInstalling SoftwareDownloadPrepare to Start the Hadoop Cluster...
阅读全文
摘要：Introduction As a lot of articles and programs require to have Java installed, this article will guide you through the process of installing and manag
阅读全文