摘要：
下载所需的包： 在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载： ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafk... 阅读全文
posted @ 2016-02-27 11:23 ggzone 阅读(126) 评论(0) 推荐(0) 编辑
摘要：
下载所需的包： 在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载： ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafka/parcels/la... 阅读全文
posted @ 2016-02-27 11:22 ggzone 阅读(1533) 评论(0) 推荐(0) 编辑
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文
posted @ 2016-02-27 11:09 ggzone 阅读(600) 评论(0) 推荐(0) 编辑
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文
posted @ 2016-02-27 11:09 ggzone 阅读(101) 评论(0) 推荐(0) 编辑
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文
posted @ 2016-02-27 11:06 ggzone 阅读(484) 评论(0) 推荐(0) 编辑
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文
posted @ 2016-02-27 11:06 ggzone 阅读(347) 评论(0) 推荐(0) 编辑
摘要：
mongo同步mongo-connector数据到elasticsearch，而elasticsearch可以结合logstash、kibana、redis，做数据收集和展示，分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写client程序执行插入 ... 阅读全文
posted @ 2016-02-27 11:04 ggzone 阅读(165) 评论(0) 推荐(0) 编辑
摘要：
mongo同步mongo-connector数据到elasticsearch，而elasticsearch可以结合logstash、kibana、redis，做数据收集和展示，分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写c... 阅读全文
posted @ 2016-02-27 11:04 ggzone 阅读(79) 评论(0) 推荐(0) 编辑
摘要：
运行spark-shell 或者scala命令，出现以下错误：Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in express... 阅读全文
posted @ 2016-02-27 10:51 ggzone 阅读(128) 评论(0) 推荐(0) 编辑
摘要：
运行spark-shell 或者scala命令，出现以下错误：Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in expressions to have... 阅读全文
posted @ 2016-02-27 10:50 ggzone 阅读(1711) 评论(0) 推荐(0) 编辑
摘要：
Spark SQL ExampleThis example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into ... 阅读全文
posted @ 2016-02-27 10:45 ggzone 阅读(116) 评论(0) 推荐(0) 编辑
摘要：
Spark SQL Example This example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into a DataFram... 阅读全文
posted @ 2016-02-27 10:44 ggzone 阅读(736) 评论(0) 推荐(0) 编辑
摘要：
使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM需要重启集群客户端：高级... 阅读全文
posted @ 2016-02-27 10:31 ggzone 阅读(931) 评论(0) 推荐(0) 编辑
摘要：
使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM... 阅读全文
posted @ 2016-02-27 10:31 ggzone 阅读(125) 评论(0) 推荐(0) 编辑
摘要：
在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区... 阅读全文
posted @ 2016-02-27 10:29 ggzone 阅读(249) 评论(0) 推荐(0) 编辑
摘要：
在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区没有重启，重启解决。 ... 阅读全文
posted @ 2016-02-27 10:28 ggzone 阅读(137) 评论(0) 推荐(0) 编辑
摘要：
#!/bin/bash#需要指定hive中的库名#set -xset -eDB=$1if [ -z $1 ];then echo “Usage:$0 DbName” exit 1fi#注释掉cron对应的计划任务row=$(sed -n '/s... 阅读全文
posted @ 2016-02-27 10:20 ggzone 阅读(340) 评论(0) 推荐(0) 编辑
摘要：
#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e "use ${DB};show tables;"|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do echo... 阅读全文
posted @ 2016-02-27 10:19 ggzone 阅读(2691) 评论(0) 推荐(0) 编辑
摘要：
批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#source databaseHOST='192.168.2.229'PORT=3306USER='root'PASSWD='roo... 阅读全文
posted @ 2016-02-27 10:13 ggzone 阅读(911) 评论(0) 推荐(0) 编辑