随笔档案「2016年2月」 - ggzone

CM添加kafka服务

摘要：下载所需的包：在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载： ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafk... 阅读全文

posted @ 2016-02-27 11:23 ggzone 阅读(132) 评论(0) 推荐(0)

CM添加kafka服务

摘要：下载所需的包：在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载： ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafka/parcels/la... 阅读全文

posted @ 2016-02-27 11:22 ggzone 阅读(1542) 评论(0) 推荐(0)

flume整合kafka

摘要：# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文

posted @ 2016-02-27 11:09 ggzone 阅读(611) 评论(0) 推荐(0)

flume整合kafka

摘要：# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文

posted @ 2016-02-27 11:09 ggzone 阅读(109) 评论(0) 推荐(0)

flume 读取tcp写到hdfs

摘要：# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文

posted @ 2016-02-27 11:06 ggzone 阅读(491) 评论(0) 推荐(0)

flume 读取tcp写到hdfs

摘要：# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文

posted @ 2016-02-27 11:06 ggzone 阅读(355) 评论(0) 推荐(0)

架构上的些许积累

摘要：mongo同步mongo-connector数据到elasticsearch，而elasticsearch可以结合logstash、kibana、redis，做数据收集和展示，分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写client程序执行插入 ... 阅读全文

posted @ 2016-02-27 11:04 ggzone 阅读(169) 评论(0) 推荐(0)

架构上的些许积累

摘要：mongo同步mongo-connector数据到elasticsearch，而elasticsearch可以结合logstash、kibana、redis，做数据收集和展示，分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写c... 阅读全文

posted @ 2016-02-27 11:04 ggzone 阅读(85) 评论(0) 推荐(0)

spark-shell和scala错误

摘要：运行spark-shell 或者scala命令，出现以下错误：Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in express... 阅读全文

posted @ 2016-02-27 10:51 ggzone 阅读(137) 评论(0) 推荐(0)

spark-shell和scala错误

摘要：运行spark-shell 或者scala命令，出现以下错误：Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in expressions to have... 阅读全文

posted @ 2016-02-27 10:50 ggzone 阅读(1737) 评论(0) 推荐(0)

Spark SQL Example

摘要：Spark SQL ExampleThis example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into ... 阅读全文

posted @ 2016-02-27 10:45 ggzone 阅读(125) 评论(0) 推荐(0)

Spark SQL Example

摘要： Spark SQL Example This example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into a DataFram... 阅读全文

posted @ 2016-02-27 10:44 ggzone 阅读(747) 评论(0) 推荐(0)

CM给hive添加自定义jar包

摘要：使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM需要重启集群客户端：高级... 阅读全文

posted @ 2016-02-27 10:31 ggzone 阅读(944) 评论(0) 推荐(0)

CM给hive添加自定义jar包

摘要：使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM... 阅读全文

posted @ 2016-02-27 10:31 ggzone 阅读(135) 评论(0) 推荐(0)

ubuntu14.04计划任务无法执行

摘要：在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区... 阅读全文

posted @ 2016-02-27 10:29 ggzone 阅读(258) 评论(0) 推荐(0)

ubuntu14.04计划任务无法执行

摘要：在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区没有重启，重启解决。 ... 阅读全文

posted @ 2016-02-27 10:28 ggzone 阅读(145) 评论(0) 推荐(0)

通过创建临时表合并某一个库的hive小文件

摘要：#!/bin/bash#需要指定hive中的库名#set -xset -eDB=$1if [ -z $1 ];then echo “Usage:$0 DbName” exit 1fi#注释掉cron对应的计划任务row=$(sed -n '/s... 阅读全文

posted @ 2016-02-27 10:20 ggzone 阅读(356) 评论(0) 推荐(0)

通过创建临时表合并hive小文件

摘要：#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e "use ${DB};show tables;"|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do echo... 阅读全文

posted @ 2016-02-27 10:19 ggzone 阅读(2706) 评论(0) 推荐(0)

sqoop job命令自动生成

摘要：批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#source databaseHOST='192.168.2.229'PORT=3306USER='root'PASSWD='roo... 阅读全文

posted @ 2016-02-27 10:13 ggzone 阅读(937) 评论(0) 推荐(0)

sqoop job命令自动生成

摘要：批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#file pathFILEPATH='/tmp'#source databaseHOST='11.143.6... 阅读全文

posted @ 2016-02-27 10:13 ggzone 阅读(112) 评论(0) 推荐(0)

在脚本中刷新impala元信息

摘要：刷新impala元信息impala-shell -q 'invalidate metadata' -i hslave1impala-shell -q 'select count(*) from player' -i hslave1 -d db_1其中hsla... 阅读全文

posted @ 2016-02-27 10:06 ggzone 阅读(319) 评论(0) 推荐(0)

在脚本中刷新impala元信息

摘要：刷新impala元信息impala-shell -q 'invalidate metadata' -i hslave1impala-shell -q 'select count(*) from player' -i hslave1 -d db_1其中hslave1是deamon进程... 阅读全文

posted @ 2016-02-27 10:05 ggzone 阅读(796) 评论(0) 推荐(0)

不同hadoop集群之间迁移hive数据

摘要：#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do hive... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(842) 评论(0) 推荐(0)

不同hadoop集群之间迁移hive数据

摘要：#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $re... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(188) 评论(0) 推荐(0)

解决sqoop需要输入密码的问题

摘要：修改配置文件：vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in the metastore... 阅读全文

posted @ 2016-02-27 09:59 ggzone 阅读(521) 评论(0) 推荐(0)

解决sqoop需要输入密码的问题

摘要：修改配置文件：vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in t... 阅读全文

posted @ 2016-02-27 09:59 ggzone 阅读(104) 评论(0) 推荐(0)

java通过jdbc连接impala

摘要：下载所需jar包：http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html 选择使用impalajdbc41版本import java.sql.Connection;import... 阅读全文

posted @ 2016-02-27 09:47 ggzone 阅读(278) 评论(0) 推荐(0)

java通过jdbc连接impala

摘要：下载所需jar包：http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html 选择使用impalajdbc41版本import java.sql.Connection;import java.sql.Dr... 阅读全文

posted @ 2016-02-27 09:46 ggzone 阅读(4206) 评论(0) 推荐(1)

hive基本操作

摘要：hive级联删除数据库和表 drop database t1 cascade;hive创建临时表和插入 create table t1 as select * from achi; insert into table t1 select * from ach... 阅读全文

posted @ 2016-02-20 11:16 ggzone 阅读(126) 评论(0) 推荐(0)

hive基本操作

摘要：hive级联删除数据库和表 drop database t1 cascade; hive创建临时表和插入 create table t1 as select * from achi; insert into table t1 select * from achi; insert overwrite 阅读全文

posted @ 2016-02-20 11:15 ggzone 阅读(138) 评论(0) 推荐(0)

hive基本操作

摘要：hive级联删除数据库和表 drop database t1 cascade;hive创建临时表和插入 create table t1 as select * from achi; insert into table t1 select * from achi; insert ove... 阅读全文

posted @ 2016-02-20 11:15 ggzone 阅读(107) 评论(0) 推荐(0)

python3基础操作

摘要：ubuntu下python连接mysqlapt-get install python-mysqldb获取当前时间>>> from datetime import datetime>>> dtNow=datetime.now()>>> print(dtNow)... 阅读全文

posted @ 2016-02-20 11:15 ggzone 阅读(134) 评论(0) 推荐(0)

ubuntu下python连接mysql

摘要：apt-get install python-mysqldb 阅读全文

posted @ 2016-02-20 11:14 ggzone 阅读(390) 评论(0) 推荐(0)

ubuntu14.04网络设置

摘要：修改ip：/etc/network/interfaces 阅读全文

posted @ 2016-02-20 11:13 ggzone 阅读(131) 评论(0) 推荐(0)

ubuntu14.04网络设置

摘要：修改ip：/etc/network/interfaces 阅读全文

posted @ 2016-02-20 11:13 ggzone 阅读(85) 评论(0) 推荐(0)

mac配置impala odbc

摘要：下载mac对应驱动并安装：http://www.cloudera.com/downloads.html.html*HOST 地址是impala Daemon所在的机器ip，端口可以在cm中设置 vi /usr/local/Cellar/unixodbc/2.... 阅读全文

posted @ 2016-02-20 11:11 ggzone 阅读(133) 评论(0) 推荐(0)

mac配置impala odbc

摘要：下载mac对应驱动并安装：http://www.cloudera.com/downloads.html.html*HOST 地址是impala Daemon所在的机器ip，端口可以在cm中设置 vi /usr/local/Cellar/unixodbc/2.3.2_1/etc/od... 阅读全文

posted @ 2016-02-20 11:10 ggzone 阅读(817) 评论(0) 推荐(0)

ubuntu14.04配置impala的odbc连接

摘要：cdh hive和impala的odbc驱动 http://www.cloudera.com/downloads.html.html 选择 SLES 11 64-bit下载： http://www.cloudera.com/downloads/connectors/impala/o... 阅读全文

posted @ 2016-02-20 11:05 ggzone 阅读(591) 评论(0) 推荐(0)

ubuntu14.04配置impala的odbc连接

摘要：cdh hive和impala的odbc驱动 http://www.cloudera.com/downloads.html.html 选择 SLES 11 64-bit下载： http://www.cloudera.com/downloads/connect... 阅读全文

posted @ 2016-02-20 11:05 ggzone 阅读(169) 评论(0) 推荐(0)

impala简单使用

摘要：impala-shell connect ha1:21000更新元信息 invalidate metadata; 阅读全文

posted @ 2016-02-20 10:59 ggzone 阅读(137) 评论(0) 推荐(0)

impala简单使用

摘要：impala-shell connect ha1:21000更新元信息 invalidate metadata; 阅读全文

posted @ 2016-02-20 10:58 ggzone 阅读(207) 评论(0) 推荐(0)

ubuntu14.04离线配置cm5.5.1

摘要：cd /opt/cm-5.5.1/具体参考http://www.aboutyun.com/thread-10852-1-1.html离线安装：下载所需文件 http://archive.cloudera.com/cm5/cm/5/中的cloudera-manager-trusty-... 阅读全文

posted @ 2016-02-14 12:11 ggzone 阅读(430) 评论(0) 推荐(0)

ubuntu14.04离线配置cm5.5.1

摘要：cd /opt/cm-5.5.1/具体参考http://www.aboutyun.com/thread-10852-1-1.html离线安装：下载所需文件 http://archive.cloudera.com/cm5/cm/5/中的cloudera-man... 阅读全文

posted @ 2016-02-14 12:11 ggzone 阅读(140) 评论(0) 推荐(0)

修改hive内存限制

摘要：错误：GB physical memory used; 4.7 GB of 2.1 GB virtual memory used. Killing container. Dump of the process-tree for container_1454126356092_002... 阅读全文

posted @ 2016-02-14 11:52 ggzone 阅读(2539) 评论(0) 推荐(0)

修改hive内存限制

摘要：错误：GB physical memory used; 4.7 GB of 2.1 GB virtual memory used. Killing container. Dump of the process-tree for container_14541... 阅读全文

posted @ 2016-02-14 11:52 ggzone 阅读(442) 评论(0) 推荐(0)

导航

公告

02 2016 档案