2016年12月12日
摘要：
1.刷固件出厂的Cubieboard是Android系统，需要Linux系统安装Hadoop，到此网址下载：http://dl.cubieboard.org/software/a20-cubietruck/lubuntu/①．使用PhoenixSuit一键刷机，并选择 lubuntu 系统镜像②．电脑一方先接上 USB 线，将Cubieboard电源，电池全部拔除，按住Cubieboard FEL... 阅读全文
摘要：
a b c d e f g h i j k l m no p q r s t u v w x y zhttp://ambari.apache.org/http://avro.apache.org/http://cassandra.apache.org/http://chukwa.apache.org/http://flume.apache.org/http://hadoop.apache.org/... 阅读全文
摘要：
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的... 阅读全文
摘要：
本文简单记录了一下使用VMware workstation 10、CentOS和HDP 2.0.6(Hadoop 2.2)发行版构建Hadoop开发测试环境的全部流程。这个过程中我遇到了不少问题，也耽误了不少的时间，所以将此文奉上，希望对大家有所帮助。 本文使用两台虚拟机搭建真实集群环境，操作系统为Cent OS 6.5。可以使用VMware Workstation的简易安装模式来进行。0. 安装... 阅读全文
摘要：
owncloudhttps://dl.iuscommunity.org/pub/ius/stable/CentOS/6/x86_64/[root@n1 ~]# rpm -Uvh ius-release-1.0-14.ius.centos6.noarch.rpm epel-release-6-5.noarch.rpm[root@n1 ~]# yum search php54[root@n1 ~]# ... 阅读全文
摘要：
大数据资源 当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。 为了帮助大家更好深... 阅读全文
摘要：
基础环境sqoop：sqoop-1.4.5+cdh5.3.6+78，hive：hive-0.13.1+cdh5.3.6+397，hbase：hbase-0.98.6+cdh5.3.6+115Sqool和Hive、HBase简介SqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的... 阅读全文
摘要：
Map Reduce & YARN简介Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。MapReduc... 阅读全文
摘要：
一. Spark基础知识 1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭... 阅读全文
摘要：
windows server 2008 R2 远程连接用户数修改设置windows server 2008 R2 远程连接用户数修改，三步搞定1.运行（win+R）中输入tsconfig.msc2.双击“限制每个用户只能进行一个会话”，取消这个选项负选框3.双击RDP-Tcp，设置“网络适配器”中的“最大连接”来自为知笔记(Wiz) 阅读全文