摘要：
运行spark-shell 或者scala命令，出现以下错误：Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in expressions to have... 阅读全文
posted @ 2016-02-27 10:50 ggzone 阅读(1737) 评论(0) 推荐(0)
摘要：
Spark SQL ExampleThis example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into ... 阅读全文
posted @ 2016-02-27 10:45 ggzone 阅读(125) 评论(0) 推荐(0)
摘要：
Spark SQL Example This example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into a DataFram... 阅读全文
posted @ 2016-02-27 10:44 ggzone 阅读(747) 评论(0) 推荐(0)
摘要：
使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM需要重启集群客户端：高级... 阅读全文
posted @ 2016-02-27 10:31 ggzone 阅读(944) 评论(0) 推荐(0)
摘要：
使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM... 阅读全文
posted @ 2016-02-27 10:31 ggzone 阅读(135) 评论(0) 推荐(0)
摘要：
在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区... 阅读全文
posted @ 2016-02-27 10:29 ggzone 阅读(258) 评论(0) 推荐(0)
摘要：
在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区没有重启，重启解决。 ... 阅读全文
posted @ 2016-02-27 10:28 ggzone 阅读(144) 评论(0) 推荐(0)
摘要：
#!/bin/bash#需要指定hive中的库名#set -xset -eDB=$1if [ -z $1 ];then echo “Usage:$0 DbName” exit 1fi#注释掉cron对应的计划任务row=$(sed -n '/s... 阅读全文
posted @ 2016-02-27 10:20 ggzone 阅读(356) 评论(0) 推荐(0)
摘要：
#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e "use ${DB};show tables;"|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do echo... 阅读全文
posted @ 2016-02-27 10:19 ggzone 阅读(2706) 评论(0) 推荐(0)
摘要：
批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#file pathFILEPATH='/tmp'#source databaseHOST='11.143.6... 阅读全文
posted @ 2016-02-27 10:13 ggzone 阅读(111) 评论(0) 推荐(0)
浙公网安备 33010602011771号