随笔 - 483, 文章 - 0, 评论 - 2, 阅读 - 18万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

02 2016 档案

摘要:下载所需的包: 在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载: ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafk... 阅读全文

posted @ 2016-02-27 11:23 ggzone 阅读(126) 评论(0) 推荐(0) 编辑

摘要:下载所需的包: 在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载: ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafka/parcels/la... 阅读全文

posted @ 2016-02-27 11:22 ggzone 阅读(1533) 评论(0) 推荐(0) 编辑

摘要:# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文

posted @ 2016-02-27 11:09 ggzone 阅读(600) 评论(0) 推荐(0) 编辑

摘要:# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文

posted @ 2016-02-27 11:09 ggzone 阅读(101) 评论(0) 推荐(0) 编辑

摘要:# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文

posted @ 2016-02-27 11:06 ggzone 阅读(484) 评论(0) 推荐(0) 编辑

摘要:# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文

posted @ 2016-02-27 11:06 ggzone 阅读(347) 评论(0) 推荐(0) 编辑

摘要:mongo同步mongo-connector数据到elasticsearch,而elasticsearch可以结合logstash、kibana、redis,做数据收集和展示,分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写client程序执行插入 ... 阅读全文

posted @ 2016-02-27 11:04 ggzone 阅读(165) 评论(0) 推荐(0) 编辑

摘要:mongo同步mongo-connector数据到elasticsearch,而elasticsearch可以结合logstash、kibana、redis,做数据收集和展示,分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写c... 阅读全文

posted @ 2016-02-27 11:04 ggzone 阅读(79) 评论(0) 推荐(0) 编辑

摘要:运行spark-shell 或者scala命令,出现以下错误:Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in express... 阅读全文

posted @ 2016-02-27 10:51 ggzone 阅读(128) 评论(0) 推荐(0) 编辑

摘要:运行spark-shell 或者scala命令,出现以下错误:Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in expressions to have... 阅读全文

posted @ 2016-02-27 10:50 ggzone 阅读(1715) 评论(0) 推荐(0) 编辑

摘要:Spark SQL ExampleThis example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into ... 阅读全文

posted @ 2016-02-27 10:45 ggzone 阅读(116) 评论(0) 推荐(0) 编辑

摘要: Spark SQL Example This example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into a DataFram... 阅读全文

posted @ 2016-02-27 10:44 ggzone 阅读(738) 评论(0) 推荐(0) 编辑

摘要:使用的是cloudera manager管理的集群:hive添加自定义jar包服务端:高级:Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置,比如hue中使用到了hive查询编辑器,在里面写HQL要用到自定义的JAR,那就必须设置这个地方。CM需要重启集群客户端:高级... 阅读全文

posted @ 2016-02-27 10:31 ggzone 阅读(931) 评论(0) 推荐(0) 编辑

摘要:使用的是cloudera manager管理的集群:hive添加自定义jar包服务端:高级:Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置,比如hue中使用到了hive查询编辑器,在里面写HQL要用到自定义的JAR,那就必须设置这个地方。CM... 阅读全文

posted @ 2016-02-27 10:31 ggzone 阅读(127) 评论(0) 推荐(0) 编辑

摘要:在/etc/crontab中添加了任务1,并确认执行时间设置没有错。发现任务没有执行,而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确,通过修改任务1的执行时间发现任务已经执行,确认是时间的问题,而系统修改过时区... 阅读全文

posted @ 2016-02-27 10:29 ggzone 阅读(250) 评论(0) 推荐(0) 编辑

摘要:在/etc/crontab中添加了任务1,并确认执行时间设置没有错。发现任务没有执行,而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确,通过修改任务1的执行时间发现任务已经执行,确认是时间的问题,而系统修改过时区没有重启,重启解决。 ... 阅读全文

posted @ 2016-02-27 10:28 ggzone 阅读(137) 评论(0) 推荐(0) 编辑

摘要:#!/bin/bash#需要指定hive中的库名#set -xset -eDB=$1if [ -z $1 ];then echo “Usage:$0 DbName” exit 1fi#注释掉cron对应的计划任务row=$(sed -n '/s... 阅读全文

posted @ 2016-02-27 10:20 ggzone 阅读(342) 评论(0) 推荐(0) 编辑

摘要:#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e "use ${DB};show tables;"|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do echo... 阅读全文

posted @ 2016-02-27 10:19 ggzone 阅读(2692) 评论(0) 推荐(0) 编辑

摘要:批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#source databaseHOST='192.168.2.229'PORT=3306USER='root'PASSWD='roo... 阅读全文

posted @ 2016-02-27 10:13 ggzone 阅读(913) 评论(0) 推荐(0) 编辑

摘要:批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#file pathFILEPATH='/tmp'#source databaseHOST='11.143.6... 阅读全文

posted @ 2016-02-27 10:13 ggzone 阅读(105) 评论(0) 推荐(0) 编辑

摘要:刷新impala元信息impala-shell -q 'invalidate metadata' -i hslave1impala-shell -q 'select count(*) from player' -i hslave1 -d db_1其中hsla... 阅读全文

posted @ 2016-02-27 10:06 ggzone 阅读(309) 评论(0) 推荐(0) 编辑

摘要:刷新impala元信息impala-shell -q 'invalidate metadata' -i hslave1impala-shell -q 'select count(*) from player' -i hslave1 -d db_1其中hslave1是deamon进程... 阅读全文

posted @ 2016-02-27 10:05 ggzone 阅读(789) 评论(0) 推荐(0) 编辑

摘要:#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do hive... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(836) 评论(0) 推荐(0) 编辑

摘要:#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $re... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(183) 评论(0) 推荐(0) 编辑

摘要:修改配置文件:vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in the metastore... 阅读全文

posted @ 2016-02-27 09:59 ggzone 阅读(513) 评论(0) 推荐(0) 编辑

摘要:修改配置文件:vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in t... 阅读全文

posted @ 2016-02-27 09:59 ggzone 阅读(101) 评论(0) 推荐(0) 编辑

摘要:下载所需jar包:http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html 选择使用impalajdbc41版本import java.sql.Connection;import... 阅读全文

posted @ 2016-02-27 09:47 ggzone 阅读(273) 评论(0) 推荐(0) 编辑

摘要:下载所需jar包:http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html 选择使用impalajdbc41版本import java.sql.Connection;import java.sql.Dr... 阅读全文

posted @ 2016-02-27 09:46 ggzone 阅读(4179) 评论(0) 推荐(1) 编辑

摘要:hive级联删除数据库和表 drop database t1 cascade;hive创建临时表和插入 create table t1 as select * from achi; insert into table t1 select * from ach... 阅读全文

posted @ 2016-02-20 11:16 ggzone 阅读(120) 评论(0) 推荐(0) 编辑

摘要:hive级联删除数据库和表 drop database t1 cascade;hive创建临时表和插入 create table t1 as select * from achi; insert into table t1 select * from achi; insert ove... 阅读全文

posted @ 2016-02-20 11:15 ggzone 阅读(101) 评论(0) 推荐(0) 编辑

摘要:ubuntu下python连接mysqlapt-get install python-mysqldb获取当前时间>>> from datetime import datetime>>> dtNow=datetime.now()>>> print(dtNow)... 阅读全文

posted @ 2016-02-20 11:15 ggzone 阅读(121) 评论(0) 推荐(0) 编辑

摘要:hive级联删除数据库和表 drop database t1 cascade; hive创建临时表和插入 create table t1 as select * from achi; insert into table t1 select * from achi; insert overwrite 阅读全文

posted @ 2016-02-20 11:15 ggzone 阅读(134) 评论(0) 推荐(0) 编辑

摘要:apt-get install python-mysqldb 阅读全文

posted @ 2016-02-20 11:14 ggzone 阅读(386) 评论(0) 推荐(0) 编辑

摘要:修改ip:/etc/network/interfaces 阅读全文

posted @ 2016-02-20 11:13 ggzone 阅读(122) 评论(0) 推荐(0) 编辑

摘要:修改ip:/etc/network/interfaces 阅读全文

posted @ 2016-02-20 11:13 ggzone 阅读(75) 评论(0) 推荐(0) 编辑

摘要:下载mac对应驱动并安装:http://www.cloudera.com/downloads.html.html*HOST 地址是impala Daemon所在的机器ip,端口可以在cm中设置 vi /usr/local/Cellar/unixodbc/2.... 阅读全文

posted @ 2016-02-20 11:11 ggzone 阅读(128) 评论(0) 推荐(0) 编辑

摘要:下载mac对应驱动并安装:http://www.cloudera.com/downloads.html.html*HOST 地址是impala Daemon所在的机器ip,端口可以在cm中设置 vi /usr/local/Cellar/unixodbc/2.3.2_1/etc/od... 阅读全文

posted @ 2016-02-20 11:10 ggzone 阅读(803) 评论(0) 推荐(0) 编辑

摘要:cdh hive和impala的odbc驱动 http://www.cloudera.com/downloads.html.html 选择 SLES 11 64-bit下载: http://www.cloudera.com/downloads/connectors/impala/o... 阅读全文

posted @ 2016-02-20 11:05 ggzone 阅读(583) 评论(0) 推荐(0) 编辑

摘要:cdh hive和impala的odbc驱动 http://www.cloudera.com/downloads.html.html 选择 SLES 11 64-bit下载: http://www.cloudera.com/downloads/connect... 阅读全文

posted @ 2016-02-20 11:05 ggzone 阅读(157) 评论(0) 推荐(0) 编辑

摘要:impala-shell connect ha1:21000更新元信息 invalidate metadata; 阅读全文

posted @ 2016-02-20 10:59 ggzone 阅读(129) 评论(0) 推荐(0) 编辑

摘要:impala-shell connect ha1:21000更新元信息 invalidate metadata; 阅读全文

posted @ 2016-02-20 10:58 ggzone 阅读(196) 评论(0) 推荐(0) 编辑

摘要:cd /opt/cm-5.5.1/具体参考http://www.aboutyun.com/thread-10852-1-1.html离线安装:下载所需文件 http://archive.cloudera.com/cm5/cm/5/中的cloudera-manager-trusty-... 阅读全文

posted @ 2016-02-14 12:11 ggzone 阅读(423) 评论(0) 推荐(0) 编辑

摘要:cd /opt/cm-5.5.1/具体参考http://www.aboutyun.com/thread-10852-1-1.html离线安装:下载所需文件 http://archive.cloudera.com/cm5/cm/5/中的cloudera-man... 阅读全文

posted @ 2016-02-14 12:11 ggzone 阅读(134) 评论(0) 推荐(0) 编辑

摘要:错误:GB physical memory used; 4.7 GB of 2.1 GB virtual memory used. Killing container. Dump of the process-tree for container_1454126356092_002... 阅读全文

posted @ 2016-02-14 11:52 ggzone 阅读(2517) 评论(0) 推荐(0) 编辑

摘要:错误:GB physical memory used; 4.7 GB of 2.1 GB virtual memory used. Killing container. Dump of the process-tree for container_14541... 阅读全文

posted @ 2016-02-14 11:52 ggzone 阅读(433) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示