07 2017 档案
摘要：不多说，直接上干货！ 问题详情 问题分析 其实啊，这个问题不难，它是属于启动后，自己又快速地挂掉了。 解决办法 首先， /etc/cloudera-scm-server/db.properties file is removed 清空删除这所有的db.properties配置文件 同时，很明显，是J
阅读全文
摘要：不多说，直接上干货！ 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解）（默认端口或任意自定义端口） 但是，要注意的是，因为在amabri集群里啊，10000端口默认是给了oozie的。 然而，我上
阅读全文
摘要：不多说，直接上干货！ 问题详情 解决办法 Copy/Paste oozie.services property tag set from oozie-default.xml to oozie-site.xml. Remove org.apache.oozie.service.KerberosHado
阅读全文
摘要：不多说，直接上干货！ 问题详情 解决办法 Copy/Paste oozie.services property tag set from oozie-default.xml to oozie-site.xml. Remove org.apache.oozie.service.KerberosHado
阅读全文
摘要：不多说，直接上干货！ 解决办法 Copy/Paste oozie.services property tag set from oozie-default.xml to oozie-site.xml. Remove org.apache.oozie.service.KerberosHadoopAcc
阅读全文
摘要：解决方法 见 cloudera-agent启动File not found ： /usr/sbin/cmf-agent解决办法（图文详解） 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http://www.cnblogs.com/zlslch/
阅读全文
摘要：不多说，直接上干货！ 问题详情 问题分析 因为cloudera-scm-agent里面的变量路径配置不正确！ 解决办法 方法1：我这里，直接将另外agent机器（好的），然后通过scp命令，传了一份agent过来给有问题的agent机器。 同时，如果，在启动的过程中，还出现，如缺少 /usr/lib
阅读全文
摘要：问题详情 近期，由于博主我，担任实验室整个大数据集群的leader，突然的断电给整个集群造成，如下的情况问题。（欲哭无泪，我的各种服务啊） 解决办法 第一种方法：尝试，直接重启机器（我这里是台式机，没关系，都到这问题发生了，直接强制关机，再按开机键）。 意想不到，我的问题得以解决了。 第二种方法：（
阅读全文
摘要：不多说，直接上干货！ 问题详情 ambari-server启动时，报如下的错误 问题分析 注:启动ambari访问前，请确保mysql驱动已经放置在/usr/share/Java内且名字是mysql-connector-java.jar不然ambari server启动时会报错mysql驱动找不到的
阅读全文
摘要：不多说，直接上干货！ 问题详解 启动ambari-server出现 解决办法 说白了，就是你放置的mysql驱动包位置不完整。 mysql如果报错 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver, 需要查看如下几个目录, 确保 JDBC
阅读全文
摘要：。。 扩展 有道云笔记客户端的下载和安装、使用（博主推荐） 印象笔记、有道云笔记和为知笔记哪个好用？（https://www.zhihu.com/question/26807165）
阅读全文
摘要：。。。 扩展 有道云笔记客户端的下载和安装、使用（博主推荐） 印象笔记、有道云笔记和为知笔记哪个好用？（https://www.zhihu.com/question/26807165）
阅读全文
摘要：前期博客 Eclipse里的Java EE视图在哪里？MyEclipse里的Java EE视图在哪里？MyEclipse里的MyEclipse Java Enterprise视图在哪里？（图文详解） 如何在Myeclipse中使用tomcat（配置tomcat，发布web项目）？ 首先，打开MyEc
阅读全文
摘要：为什么要写这篇博客呢？ 是因为，最近接触一个web项目。 然后呢，Eclipse里的Java EE视图的位置与MyEclipse里不太一样。为了自己梳理日后查找，也是为了新手少走弯路。 Eclipse里的Java EE视图在哪里，怎么调出来？ MyEclipse里的Java EE视图在哪里，怎么调出
阅读全文
摘要：前期博客 Flume自定义拦截器（Interceptors）或自带拦截器时的一些经验技巧总结（图文详解） 问题详情 解决办法 或者 或者， 将机器重启，也许是网络的问题 或者， 进一步解决问题 https://stackoverflow.com/questions/22145899/flume-hd
阅读全文
摘要：前期博客 Flume自定义拦截器（Interceptors）或自带拦截器时的一些经验技巧总结（图文详解） 问题详情 这句话，说的很明显。 你的hdfs.calltimeout可能设置得太低或HDFS需要花费太长的时间。 我的是 这个大家，可以还改大些。 hdfs.sinks.fs.hdfs.roll
阅读全文
摘要：前期博客 Flume自定义拦截器（Interceptors）或自带拦截器时的一些经验技巧总结（图文详解） 问题详情 启动agent服务 我这里，出现了这个错误 解决办法 然后，再来修改 修改java最大内存大小vi bin/flume-ngJAVA_OPTS="-Xmx1024m" 改为 即，修改后
阅读全文
摘要：不多说，直接上干货！ 前期博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解） 问题详情 我在Kafka-manager启动时出现 解决办法 若大家，还不会建立软连接，则见我下面的博客 大数据各子项目的环
阅读全文
摘要：前期博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解） 基于Web的Kafka管理器工具之Kafka-manager启动时出现Exception in thread "main" java.lang.U
阅读全文
摘要：不多说，直接上干货！ 至于为什么，要写这篇博客以及安装Kafka-manager？ 问题详情 无奈于，在kafka里没有一个较好自带的web ui。启动后无法观看，并且不友好。所以，需安装一个第三方的kafka管理工具 功能 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫
阅读全文
摘要：不多说，直接上干货！ Storm的雪崩问题的解决办法1： Storm概念学习系列之并行度与如何提高storm的并行度 Storm的雪崩问题的解决办法2:
阅读全文
摘要：不多说，直接上干货！ 以下都是非常重要的storm概念知识。 （Tuple元组数据载体 、Spout数据源、Blot消息处理者、Stream消息流 和 Stream Grouping 消息流组、Worker工作者进程、Task是最终运行spout或bolt中代码的执行单元、executor是work
阅读全文
摘要：概念，见博客 Storm概念学习系列之storm的定时任务 Storm的定时任务，分为两种实现方式，都是可以达到目的的。 我这里，分为StormTopologyTimer1.java 和 StormTopologyTimer2.java 编写代码StormTopologyTimer1.java 我这
阅读全文
摘要：不多说，直接上干货！ 至于为什么，有storm的定时任务。这个很简单。但是，这个在工作中非常重要！ 假设有如下的业务场景 这个spoult源源不断地发送数据，boilt呢会进行处理。然后呢，处理后的结果，假设要写到mysql里面。 假设，spout有几十万条，这么过来。写入到bolt，意味着，它一秒
阅读全文
摘要：概念，见博客 Storm概念学习系列之storm的可靠性 什么业务场景需要storm可靠性的ACK确认机制？ 答：想要保住数据不丢，或者保住数据总是被处理。即若没被处理的，得让我们知道。 编写代码 StormTopologyAcker.java 停掉，我们复制粘贴来分析分析 ok!
阅读全文
摘要：这个概念，对于理解storm很有必要。 1、worker进程死掉 worker是真实存在的。可以jps查看。 正是因为有了storm的可靠性，所以storm会重新启动一个新的worker进程。 2、supervisor进程死掉 不会影响之前已经提交的topology的执行，只是后期不能再想这个节点分
阅读全文
摘要：概念，见博客 Storm概念学习系列之stream grouping（流分组） Storm的stream grouping的Shuffle Grouping 它是随机分组，随机派发stream里面的tuple，保证polt的每个人物接收到的tuple数目相同。（它能实现较好的负载均衡） 如果工作中没
阅读全文
摘要：前期博客 Storm编程入门API系列之Storm的Topology默认Workers、默认executors和默认tasks数目 Storm编程入门API系列之Storm的Topology多个Workers数目控制实现 继续编写 StormTopologyMoreTask.java 打jar包 提
阅读全文
摘要：前期博客 Storm编程入门API系列之Storm的Topology默认Workers、默认executors和默认tasks数目 Storm编程入门API系列之Storm的Topology多个Workers数目控制实现 继续编写 StormTopologyMoreExecutor.java 打ja
阅读全文
摘要：前期博客 Storm编程入门API系列之Storm的Topology默认Workers、默认executors和默认tasks数目 继续编写 StormTopologyMoreWorker.java 打jar包 提交作业之前 提交之后 为什么，会是如上的数字呢？大家要学，就要深入去学和理解。 因为，
阅读全文
摘要：关于，storm的启动我这里不多说了。 见博客 storm的3节点集群详细启动步骤（非HA和HA）（图文详解） 建立stormDemo项目 Group Id ： zhouls.bigdata Artifact Id ： stormDemo Package : stormDemo 编写代码StormT
阅读全文
摘要：首先，说明，我kafk的server.properties是 kafka的server.properties配置文件参考示范（图文详解）（多种方式） 问题详情 然后，我启动时，出现如下 问题分析 是我在新建 要么执行启动命令的用户，要么写日志的文件目录权限 写日志的文件目录权限问题，新建快了，忘记c
阅读全文
摘要：前期博客 apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（非HA和HA） 启动storm集群（HA） 本博文情况是 master（主） nimbus slave1（主）（从） nimbus supervisor slave2（从） supervisor 1、先在m
阅读全文
摘要：不多说，直接上干货！ 对于storm来说，并行度的概念非常重要！大家一定要好好理解和消化。 storm的并行度，可以简单的理解为多线程。 如何提高storm的并行度？ storm程序主要由spout和bolt组成的。spout和bolt在运行期间会生成task实例(new Spout或者new bo
阅读全文
摘要：把stream当做一列火车， tuple当做车厢，spout当做始发站，bolt当做是中间站点！！！ 见 Storm概念学习系列之Spout数据源 Storm概念学习系列之Topology拓扑 Storm概念学习系列之Blot消息处理者 Storm概念学习系列之Tuple元组
阅读全文
摘要：不多说，直接上干货！ 比如，我们给kafka的topic命名为user_r2p10 表示user这个topic的副本因子（r）是2，分区数（p）是10。 这样后期在写消费者代码的时候，根据topic名称就知道分区有多少个，可以很方便的设置多少个消费者线程。 比如，如下 前期博客，见 Kafka的3节
阅读全文
摘要：简单点的，就是 kafka_2.11-0.8.2.2.tgz的3节点集群的下载、安装和配置（图文详解） 但是呢，大家在实际工作中，会一定要去牵扯到调参数和调优问题的。以下，是我给大家分享的kafka的server.properties配置文件参考示范。 master节点上 slave1上 slave
阅读全文
摘要：kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载、安装和配置（图文详细教程）绝对干货 一、安装前准备 1.1 示例机器 二、 JDK7 安装 1.1 下载地址 下载地址： http://www.oracle.com/technetwork/java/javase/downloads
阅读全文
摘要：GC是内存的回收的意思。 Flume中的flume-env.sh配置调整建议 因为，我一般是喜欢用软连接，所以，这里的路径也是软连接jdk 所以 Flume中的log4j.properties配置调整建议 关于 log4j.properties的配置调整，可以进一步看 Flume自定义拦截器（Int
阅读全文
摘要：不多说，直接上干货！ 一、自定义拦截器类型必须是：类全名$内部类名，其实就是内部类名称 如：zhouls.bigdata.MySearchAndReplaceInterceptor$Builder 二、为什么这样写 至于为什么这样写：是因为Interceptor接口还有一个 公共的内部接口（Buil
阅读全文
摘要：本博文的主要内容有 一、zookeeper编程入门系列之利用zookeeper的临时节点的特性来监控程序是否还在运行 二、zookeeper编程入门系列之zookeeper实现分布式进程监控 三、zookeeper编程入门系列之zookeeper实现分布式共享锁 我这里采用的是maven项目，这个很
阅读全文
摘要：首先假设有两个线程， 两个线程要同时到mysql中更新一条数据， 对数据库中的数据进行累加更新。由于在分布式环境下， 这两个线程可能存在于不同的机器上的不同jvm进程中， 所以这两个线程的关系就是垮主机跨进程， 使用java中的synchronized锁是搞不定的。 主要利用了zookeeper的临
阅读全文
摘要：不多说，直接上干货！ 假设要监控多台服务器上的A程序运行状态， 当发现有服务器上的A程序下线的时候， 给管理员发短信， 并且尝试重启A程序。 zookeeper实现分布式进程监控主要利用zk的临时节点和watcher监视器的特性。 临时节点有一个特点： 当创建临时节点的程序停掉之后， 这个临时节点就
阅读全文
摘要：Zookeeper中节点分为两种：临时节点和永久节点。 临时节点有一个节点： 当创建临时节点的程序停掉之后，这个临时节点就会消失。 更直观的，如下 Persistent是临时节点、 Persistent_sequential是临时有序节点。如00000、000001..... Ephemeral是永
阅读全文
摘要：znode有两种类型： 临时节点（ephemeral node） 和 持久节点（persistent node）。 znode的类型在创建时确定并且之后不能再修改。 短暂znode的客户端会话结束时， zookeeper会将该短暂znode删除，短暂znode不可以有子节点。 持久znode不依赖于
阅读全文
摘要：1、层次化的目录结构，命名符合常规文件系统规范。 2、每个节点在zookeeper中叫做znode，并且有其有一个唯一的路径标识。 3、znode中的数据可以有多个版本，比如某一路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本。 4、客户端应用可以在节点上设置监视器。 5、节点不支持部
阅读全文
摘要：详细，见如下图 1、领导者（leader） ： 负责进行投票的发起和决议，更新系统状态。 2、学习者（learner）： 包括跟随者（follower）和观察者（observer）。 跟随者（follower）用于接受客户端请求并向客户端返回结果，在选举过程中参与投票。 观察者（observer）可
阅读全文
摘要：1、 Zookeeper是Hadoop的分布式协调服务。 2、 分布式应用程序可以基于它，来实现同步服务，配置维护和命名服务等。 3、 zookeeper可以保证数据在zookeeper集群之间的数据的事务性一致。 前言 Google的三篇论文影响了很多很多人，也影响了很多很多系统。这三篇论文一直是
阅读全文
摘要：问题详情 问题分析 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都
阅读全文
摘要：不多说，直接上干货！ 写在前面的话 对于 在Ubuntu系统上，编译安装Apache它默认路径是在/usr/local/apache2/htdocs 或者编译安装httpd它默认路径是在/usr/local/apache/htdocs 在Ubuntu系统上，apt-get安装Apache它默认路径是
阅读全文
摘要：不多说，直接上干货！ 写在前面的话 （1） 最近一段时间，因担任我团队实验室的大数据环境集群真实物理机器工作，至此，本人秉持负责、认真和细心的态度，先分别在虚拟机上模拟搭建ambari（基于CentOS6.5版本）和cloudermanager（基于CentOS6.5或Ubuntu14.04版本）。
阅读全文
摘要：不多说，直接上干货！ 参考官网 Configuring TLS Security for Cloudera Manager Important: Cloudera strongly recommends that you set up a fully-functional CDH cluster a
阅读全文
摘要：不多说，直接上干货！ 问题详情 查看/var/log/cloudera-scm-server.log的启动日志 问题来源 我在用cloudermanager安装好之后，然后，在对如下。 配置kerberos后，在web界面重启服务ok。 但有一个警告：Cloudera recommends at l
阅读全文
摘要：正向索引的结构如下： “文档1”的ID > 单词1：出现次数，出现位置列表；单词2：出现次数，出现位置列表；…………。 “文档2”的ID > 此文档出现的关键词列表。 一般是通过key，去找value。 当用户在主页上搜索关键词“华为手机”时，假设只存在正向索引（forward index），那么就
阅读全文
摘要：问题详情 解决办法 若大家，后台启动，则加上-d。
阅读全文
摘要：前期博客 启动azkaban时出现User xml file conf/azkaban-users.xml doesn't exist问题解决（图文详解） 问题详情 修改好之后，再次启动。
阅读全文
摘要：问题详情 我的es集群，开启后，都好久了，一直报red状态？？？ 问题分析 有两个分片数据好像丢了。 不知道你这数据怎么丢的。 确认下本地到底还有没有，本地要是确认没了，那数据就丢了，删除索引重建吧 删除，是这三个索引库 解决方法（一般若是作为测试而言的索引库的话，这么干） 问题得以解决！
阅读全文
摘要：问题详情 先ctrl + c停止它， 然后，接着 方法一： 接着，出现，这界面怎么这么丑，跟平常不一样。 具体解决，见 azkaban web ui界面出现异常诡异“丑”界面的问题解决（图文详解） 欢迎大家，加入我的微信公众号：大数据躺过的坑 免费给分享 同时，大家可以关注我的个人博客： http:
阅读全文
摘要：不多说，直接上干货! 问题详情 解决这个问题简单的，是因为有进程占用了。比如 其实啊，跟 然后，再sudo service cloudera-scm-agent stop 再sudo service cloudera-scm-agent start 其实，跟 cloudemanager安装时出现Pr
阅读全文
摘要：不多说，直接上干货！ 问题详情 查看日志/var/log/cloudera-scm-agent/，得知 解决办法 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http://www.cnblogs.com/zlslch/ 和 http://www.
阅读全文
摘要：不多说，直接上干货！ 安装cdh5到最后报如下错误： 安装失败，无法接受agent发出的检测信号。 确保主机名称正确 确保端口7182可在cloudera manager server上访问（检查防火墙规则） 确保正在添加的主机的端口9000和9001空闲 检查在添加的主机上/var/log/clo
阅读全文
摘要：不多说，直接上干货！ 问题详情 解决办法 哪一个节点被锁就删除哪一个。 解决办法：进入/tmp 目录，ls -a查看，删除scm_prepare_node.*的文件，以及.scm_prepare_node.lock文件。 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以
阅读全文
摘要：不多说，直接上干货！ http://www.aboutyun.com/forum.php?mod=viewthread&tid=20455&extra=&page=2 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http://www.cnblog
阅读全文
摘要：不多说，直接上干货! 问题详情 我在写此博客之前，看了网上各种资料，写的太冗余和繁琐杂乱。最简单的解决方法莫过于我这篇博客。直接如下。 这是liux套接字网络的特性，win平台不会有这个问题。 解决方法 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客：
阅读全文
摘要：不多说，直接上干货！ 安装orcal-java7-installer和oracle-java7-set-default 安装JDK1.7 （所有节点）CDH要求至少是Oracle JDK7，Ubuntu自带的是OpenJDK，Ubuntu没有自带的Oracle JDK,必须添加外部源才能安装JDK。
阅读全文
摘要：不多说，直接上干货！ 首先，这个问题，写给需要帮助的朋友们，本人在此，搜索资料近半天，才得以解决。看过国内和国外，资料甚少。特此，写此博客，为了弥补此错误解决的资料少的缘故！ 问题详解 解决办法 在host界面，将主机全部删除，再添加。 是你这台主机由于服务已经被你删除，你需要重新安装一次，你可以在
阅读全文
摘要：不多说，直接上干货！ 问题详情 解决办法 即可 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cn
阅读全文
摘要：不多说，直接上干货！ 在安装过程中，本来我的ubuntu系统都是14.04的。 问题详情 问题查看 解决办法 然后，再次执行安装即可。 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http://www.cnblogs.com/zlslch/ 和
阅读全文
摘要：最近，在执行 提示，如下。 解决办法 先要执行 再来执行 验证
阅读全文
摘要：这个Hadoop插件的安装是非常重要。 Hadoop插件安装 在es的安装目录下 官网安装说明 以下是elasticsearch针对不同的版本 Hadoop插件配置 vi elasticsearch.yml gateway : type : hdfs gateway : hdfs : uri : h
阅读全文
摘要：普通关系型数据库使用的是（悲观并发控制（PCC）） 当我们在修改一个数据前先锁定这一行，然后确保只有读取到数据的这个线程可以修改这一行数据 ES使用的是（乐观并发控制（OCC）） ES不会阻止某一数据的访问，然而，如果基础数据在我们读取和写入的间隔中发生了变化，更新就会失败，这时候就由程序来决定如何
阅读全文
摘要：大家，也可去看看我下面的博客 Elasticsearch之批量操作bulk 官网上，是举例了新建一个requests文件。 然后，执行批量操作 得到 官网
阅读全文
摘要：也可以看我写的下面的博客 Elasticsearch之curl删除 Elasticsearch之curl删除索引库 删除，某一条数据，如下 得到 如果我们想要删除的文档存在，则found属性值为true，_version属性的值+1。 如果我们想要删除的文档不存在，found属性值false，但是_
阅读全文
摘要：对于，Elasticsearch之CURL命令的UPDATE包括局部更新和全部更新。可以去看我写的另一篇博客。 Elasticsearch之更新（全部更新和局部更新） 总结： ES全部更新，使用PUT或者POST ES局部更新，使用POST ES可以使用PUT或者POST对文档进行更新（包括局部更新
阅读全文
摘要：如果只想检查一些文档是否存在，我们可以使用HEAD来替代GET方法，这样就只会返回HTTP头文件。
阅读全文
摘要：我这里， 再，创建一个zhouls2的索引库。 得到 在新创建的索引库zhouls2里，添加一条数据进去。 得到 如下，是我用mget命令，为大家演示，通过xmget命令来获取多个文档 如果我们需要的文档在同一个_index或者同一个_type中，我们就可以在URL中指定一个默认的/_index或者
阅读全文
摘要：它是Domain Specific Language领域特定语言。 大家，自行先去看。 新添加一个文档 得到 更多，大家可以去见官网，如下 复杂的查询，我们通过这种匹配match不同的字段是很有作用的。
阅读全文
摘要：这是个查询命令。 前期博客 Elasticsearch之CURL命令的PUT和POST对比 1、 以上是根据员工id查询。 即在任意的查询字符串中添加pretty参数，es可以得到易于我们识别的json结果。（这一点必须要会） 2、由此，可见，检索文档中的一部分，可以只查询，只需要显式部分字段。 3
阅读全文
