03 2013 档案
摘要:Flume介绍一 flume基本介绍Apache flume是一个分布式的、可靠的和可用的用来高效收集、同济和移动大量数据从众多不同sources到一个集中的数据存储库的系统。Flume event:flume事件的定义为:一组具有字节有效负载和可选择的字符串属性集的数据流。Flume agent:flume代理是一个通过事件流从外部资源流向下一个目的地(hop)管理组件的JVM进程。Flume source:接收从外部资源(如web server)传送过来的事件转变成了flume的source。外部资源通过发送让目标flume source可以识别的特定格式的事件给flume。例如,Avro
阅读全文
摘要:在启动hadoop过程中,出现如下错误:192.168.10.100: Invalid maximum heap size: -Xmx0m192.168.10.100: Could not create the Java virtual machine.192.168.10.100: jobtracker 已死,但 pid 文件仍存 此时查看jobtracker的日志,1 [root@ccloud100 manager]# vim /var/log/hadoop/hadoop-hadoop-jobtracker-ccloud100.out2 --Invalid maximum heap ...
阅读全文
摘要:首先这个问题往往是由于mysqld服务未开启, 1、先查看 /etc/rc.d/init.d/mysqld status,如果未开启,那么用service mysqld start。也有可能是权限的问题,导致服务不能运行。 2、如果mysqld在运行出现的这个问题,那么确定mysql.sock是不是在那个位置,然后试试,mysql -u mysql用户名 -p -S /var/lib/mysql/mysql.sock草原战狼淘宝小店:http://xarxf.taobao.com/ 淘宝搜小矮人鞋坊,主营精致美丽时尚女鞋,为您的白雪公主挑一双哦。
阅读全文
摘要:Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向Hadoop MapReduce、HDFS、 HBase、Pig, Hive、HCatalog以及Zookeeper提供服务。最近准备装ambari,在网上找了许久,没找到比较系统的ambari安装过程,于是,就根据官网进行了安装,下面是我推荐的正确的较完善的安装方式,希望对大家有所帮助。 一、准备工作 1、系统:我的系统是CentOS6.2,x86_64,本次集群采用两个节点。管理节点:192.168.10.121;客户端节点:...
阅读全文