随笔档案「2016年1月」 - ggzone

hbase的regionserver宕机

摘要：错误日志：regionserver.HRegionServer: Failed deleting my ephemeral nodezookeeper.RecoverableZooKeeper: ZooKeeper delete failed after 4... 阅读全文

posted @ 2016-01-30 13:50 ggzone 阅读(268) 评论(0) 推荐(0)

hbase的regionserver宕机

摘要：错误日志：regionserver.HRegionServer: Failed deleting my ephemeral nodezookeeper.RecoverableZooKeeper: ZooKeeper delete failed after 4 attempts解决：a... 阅读全文

posted @ 2016-01-30 13:49 ggzone 阅读(338) 评论(0) 推荐(0)

根据硬件配置后mapred-site.xml和yarn-site.xml

摘要：机器总共16G内存，sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address ... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(4757) 评论(0) 推荐(0)

根据硬件配置后mapred-site.xml和yarn-site.xml

摘要：机器总共16G内存，sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.a... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(147) 评论(0) 推荐(0)

阿里RDS备份恢复

摘要：未使用root用户操作：数据库版本要一致数据目录：/data/mysqlbak/ 先按阿里给的步骤操作，最后出现一步出现，无法找到back_xxx.conf,但该文件已经存在。解决方法：sudo vim /etc/apparmor.d/usr.sbin.... 阅读全文

posted @ 2016-01-30 13:22 ggzone 阅读(112) 评论(0) 推荐(0)

阿里RDS备份恢复

摘要：未使用root用户操作：数据库版本要一致数据目录：/data/mysqlbak/ 先按阿里给的步骤操作，最后出现一步出现，无法找到back_xxx.conf,但该文件已经存在。解决方法：sudo vim /etc/apparmor.d/usr.sbin.mysqld添加： /da... 阅读全文

posted @ 2016-01-30 13:21 ggzone 阅读(133) 评论(0) 推荐(0)

hive 调用java的函数和科学记数法转换

摘要：hive中field如果是string，比如id，那么使用10000000000+id结果是科学计数法显示，转换为正常显示方法：select (10000000000+cast(id as int)) as id from tb1 limit 10;hive 调用java的函数，必... 阅读全文

posted @ 2016-01-30 13:17 ggzone 阅读(826) 评论(0) 推荐(0)

hive 调用java的函数和科学记数法转换

摘要：hive中field如果是string，比如id，那么使用10000000000+id结果是科学计数法显示，转换为正常显示方法：select (10000000000+cast(id as int)) as id from tb1 limit 10;hiv... 阅读全文

posted @ 2016-01-30 13:17 ggzone 阅读(289) 评论(0) 推荐(0)

hive处理hbase数据

摘要：CREATE EXTERNAL TABLE table1(key string,zoneid int,result int,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' W... 阅读全文

posted @ 2016-01-30 13:10 ggzone 阅读(153) 评论(0) 推荐(0)

hive处理hbase数据

摘要：CREATE EXTERNAL TABLE table1(key string,zoneid int,result int,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROP... 阅读全文

posted @ 2016-01-30 13:09 ggzone 阅读(196) 评论(0) 推荐(0)

Sqoop导入mysql数据到Hbase

摘要：sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --qu... 阅读全文

posted @ 2016-01-30 13:04 ggzone 阅读(326) 评论(0) 推荐(0)

Sqoop导入mysql数据到Hbase

摘要：sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select r... 阅读全文

posted @ 2016-01-30 13:03 ggzone 阅读(1102) 评论(2) 推荐(0)

Hbase基础操作

摘要：$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 阅读全文

posted @ 2016-01-30 12:58 ggzone 阅读(109) 评论(0) 推荐(0)

Hbase基础操作

摘要：$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 阅读全文

posted @ 2016-01-30 12:57 ggzone 阅读(159) 评论(0) 推荐(0)

合并 hdfs 文件

摘要：待研究，只做保存将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中，示例如：sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(564) 评论(0) 推荐(0)

合并 hdfs 文件

摘要：待研究，只做保存将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中，示例如：sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(138) 评论(0) 推荐(0)

hbase的rowkey简单设计

摘要：问题：需要查询某一用户某时间做了什么，PlatID和vopenid可以保证一个用户唯一，但同一时间同一用户可能日志有多条。使用PlatID（int）、vopenid（int）和dtTime(datetime)查询保持所有rowkey长度一致 PlatID... 阅读全文

posted @ 2016-01-24 12:38 ggzone 阅读(150) 评论(0) 推荐(0)

hbase的rowkey简单设计

摘要：问题：需要查询某一用户某时间做了什么，PlatID和vopenid可以保证一个用户唯一，但同一时间同一用户可能日志有多条。使用PlatID（int）、vopenid（int）和dtTime(datetime)查询保持所有rowkey长度一致 PlatID总是一位，vopenid不... 阅读全文

posted @ 2016-01-24 12:37 ggzone 阅读(583) 评论(0) 推荐(0)

linux下udp编程

摘要：#include#include#include#include#include#include#include#include#include#include#include#include#include /* 创建UDP套接口 */ struct sockaddr_i... 阅读全文

posted @ 2016-01-24 11:56 ggzone 阅读(494) 评论(0) 推荐(0)

linux下udp编程

摘要：#include#include#include#include#include#include#include#include#include#include#include#include#include /* 创建UDP套接口 */ stru... 阅读全文

posted @ 2016-01-24 11:56 ggzone 阅读(140) 评论(0) 推荐(0)

gitlab和Django实现push自动更新

摘要：1、设置webhookgitlab->setting->webhook:http://21.43.181.66:7000?token=230a1428-b396-12e5-9912-ba1be0483c182、设置django 注释掉下列所示一行，关闭CSRFMIDDLEWAR... 阅读全文

posted @ 2016-01-24 11:50 ggzone 阅读(164) 评论(0) 推荐(0)

gitlab和Django实现push自动更新

摘要：1、设置webhookgitlab->setting->webhook:http://21.43.181.66:7000?token=230a1428-b396-12e5-9912-ba1be0483c182、设置django 注释掉下列所示一行，关闭... 阅读全文

posted @ 2016-01-24 11:50 ggzone 阅读(107) 评论(0) 推荐(0)

gitlab和Django实现push自动更新

摘要：1、设置webhook gitlab->setting->webhook:http://121.143.191.166:7000?token=23028-b396-12e5-9912-bae0483c18 2、设置django 注释掉下列所示一行，关闭CSRF MIDDLEWARE_CLASSES 阅读全文

posted @ 2016-01-24 11:50 ggzone 阅读(954) 评论(0) 推荐(0)

python通过163邮箱发送邮件

摘要：from email.mime.multipart import MIMEMultipartfrom email.mime.text import MIMETextimport smtplibimport sysimport osimport datetim... 阅读全文

posted @ 2016-01-24 11:42 ggzone 阅读(118) 评论(0) 推荐(0)

python通过163邮箱发送邮件

摘要：from email.mime.multipart import MIMEMultipartfrom email.mime.text import MIMETextimport smtplibimport sysimport osimport datetimeimport timei... 阅读全文

posted @ 2016-01-24 11:41 ggzone 阅读(324) 评论(0) 推荐(0)

Hadoop有关的网站

摘要：软件下载： http://archive.apache.org hbase对Hadoop的支持矩阵： https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:31 ggzone 阅读(153) 评论(0) 推荐(0)

Hadoop有关的网站

摘要：软件下载： http://archive.apache.org hbase对Hadoop的支持矩阵： https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:30 ggzone 阅读(163) 评论(0) 推荐(0)

hbase1.1.2安装

摘要：环境：hadoop2.6.1,zk3.4.61.配置环境变量 sudo vi /etc/profile.d/hbase-env.shexport HBASE_HOME=/usr/local/hbase-1.1.2export PATH=$PATH:/usr/... 阅读全文

posted @ 2016-01-16 13:24 ggzone 阅读(118) 评论(0) 推荐(0)

hbase1.1.2安装

摘要：环境：hadoop2.6.1,zk3.4.61.配置环境变量 sudo vi /etc/profile.d/hbase-env.shexport HBASE_HOME=/usr/local/hbase-1.1.2export PATH=$PATH:/usr/local/hbase-1... 阅读全文

posted @ 2016-01-16 13:23 ggzone 阅读(1140) 评论(0) 推荐(0)

Zookeeper错误

摘要：错误1：user0@slave1:/usr/local/zookeeper-3.4.6$ zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.... 阅读全文

posted @ 2016-01-16 13:16 ggzone 阅读(168) 评论(0) 推荐(0)

Zookeeper错误

摘要：错误1：user0@slave1:/usr/local/zookeeper-3.4.6$ zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.6/bin... 阅读全文

posted @ 2016-01-16 13:16 ggzone 阅读(166) 评论(0) 推荐(0)

C++ STL小知识

摘要：五种迭代器：在STL中，迭代器主要分为5类，分别是：输入迭代器、输出迭代器、前向迭代器、双向迭代器和随机访问迭代器。输入迭代器：只读，支持++、==、！=；输出迭代器：只写，支持++；前向迭代器：读写，支持++、==、！=； ... 阅读全文

posted @ 2016-01-15 11:18 ggzone 阅读(200) 评论(0) 推荐(0)

C++ STL小知识

摘要：五种迭代器：在STL中，迭代器主要分为5类，分别是：输入迭代器、输出迭代器、前向迭代器、双向迭代器和随机访问迭代器。输入迭代器：只读，支持++、==、！=；输出迭代器：只写，支持++；前向迭代器：读写，支持++、... 阅读全文

posted @ 2016-01-15 11:18 ggzone 阅读(95) 评论(0) 推荐(0)

xcode C++一些简单设置

摘要：下面是一个要用到mysql库的C++程序设置：添加用户头文件：双击项目—Build Settings—Search Paths: Library Search Paths: /usr/local/lib User Header Search Paths:... 阅读全文

posted @ 2016-01-10 12:07 ggzone 阅读(819) 评论(0) 推荐(0)

xcode C++一些简单设置

摘要：下面是一个要用到mysql库的C++程序设置：添加用户头文件：双击项目—Build Settings—Search Paths: Library Search Paths: /usr/local/lib User Header Search Paths: /usr/local/i... 阅读全文

posted @ 2016-01-10 12:06 ggzone 阅读(989) 评论(0) 推荐(0)

zabbix通过sendmail进行邮箱警报

摘要：安装sendmail /usr/lib/zabbix/alertscripts/SendEmail.sh#!/bin/bashto_email_address="$1" # 收件人Email地址，zabbix传入的第一个参数mes... 阅读全文

posted @ 2016-01-10 12:01 ggzone 阅读(167) 评论(0) 推荐(0)

zabbix通过sendmail进行邮箱警报

摘要：安装sendmail /usr/lib/zabbix/alertscripts/SendEmail.sh#!/bin/bashto_email_address="$1" # 收件人Email地址，zabbix传入的第一个参数message_subject_... 阅读全文

posted @ 2016-01-10 12:00 ggzone 阅读(393) 评论(0) 推荐(0)

ubuntu 服务管理

摘要：在Linux系统下，一个Services的启动、停止以及重启通常是通过/etc/init.d目录下的脚本来控制的。然而，在启动或改变运行级别时，是在/etc/rcX.d中来搜索脚本。其中X是运行级别的number。本文将解释如何启动、关闭和修改服务的运行。当你在Debian下安装一个... 阅读全文

posted @ 2016-01-10 11:49 ggzone 阅读(402) 评论(0) 推荐(0)

ubuntu 服务管理

摘要：在Linux系统下，一个Services的启动、停止以及重启通常是通过/etc/init.d目录下的脚本来控制的。然而，在启动或改变运行级别时，是在/etc/rcX.d中来搜索脚本。其中X是运行级别的number。本文将解释如何启动、关闭和修改服务的运行。当... 阅读全文

posted @ 2016-01-10 11:49 ggzone 阅读(122) 评论(0) 推荐(0)

ubuntu关闭THP

摘要：所有linux系统详细设置参考： https://docs.mongodb.org/manual/tutorial/transparent-huge-pages/vi /etc/init.d/disable-transparent-hugepages#!/b... 阅读全文

posted @ 2016-01-10 11:47 ggzone 阅读(295) 评论(0) 推荐(0)

ubuntu关闭THP

摘要：所有linux系统详细设置参考： https://docs.mongodb.org/manual/tutorial/transparent-huge-pages/vi /etc/init.d/disable-transparent-hugepages#!/bin/sh### BEGI... 阅读全文

posted @ 2016-01-10 11:46 ggzone 阅读(869) 评论(0) 推荐(0)

ubuntu14安装ambari2.2

摘要：https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories查看是否开启transparent_hugepageredhatc... 阅读全文

posted @ 2016-01-10 11:44 ggzone 阅读(157) 评论(0) 推荐(0)

ubuntu14安装ambari2.2

摘要：https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories查看是否开启transparent_hugepageredhatcat /sys/kerne... 阅读全文

posted @ 2016-01-10 11:43 ggzone 阅读(511) 评论(0) 推荐(0)

hcatalog配置

摘要：https://cwiki.apache.org/confluence/display/Hive/HCatalog+CLIhive的配置中添加：export PATH=$PATH:$HIVE_HOME/hcatalog/bin:$HIVE_HOME/hcatalo... 阅读全文

posted @ 2016-01-10 11:23 ggzone 阅读(219) 评论(0) 推荐(0)

hcatalog配置

摘要：https://cwiki.apache.org/confluence/display/Hive/HCatalog+CLIhive的配置中添加：export PATH=$PATH:$HIVE_HOME/hcatalog/bin:$HIVE_HOME/hcatalog/sbinHCatalog C... 阅读全文

posted @ 2016-01-10 11:22 ggzone 阅读(740) 评论(0) 推荐(0)

mysql设置定时任务

摘要：–查看时间调度器是否开启SHOW VARIABLES LIKE 'event_scheduler';SELECT @@event_scheduler;–开启时间调度器SET GLOBAL event_scheduler = ON;–创建定时任务create ... 阅读全文

posted @ 2016-01-10 11:21 ggzone 阅读(158) 评论(0) 推荐(0)

mysql设置定时任务

摘要：–查看时间调度器是否开启SHOW VARIABLES LIKE 'event_scheduler';SELECT @@event_scheduler;–开启时间调度器SET GLOBAL event_scheduler = ON;–创建定时任务create event if not ... 阅读全文

posted @ 2016-01-10 11:20 ggzone 阅读(151) 评论(0) 推荐(0)

Spark On Yarn：提交Spark应用程序到Yarn

摘要：转载自：http://lxw1234.com/archives/2015/07/416.htm 关键字：Spark On Yarn、Spark Yarn Cluster、Spark Yarn ClientSpark On Yarn模式配置非常简单，只需要下载... 阅读全文

posted @ 2016-01-01 21:22 ggzone 阅读(223) 评论(0) 推荐(0)

Spark On Yarn：提交Spark应用程序到Yarn

摘要：转载自：http://lxw1234.com/archives/2015/07/416.htm 关键字：Spark On Yarn、Spark Yarn Cluster、Spark Yarn ClientSpark On Yarn模式配置非常简单，只需要下载编译好的Spark安装包，... 阅读全文

posted @ 2016-01-01 21:21 ggzone 阅读(705) 评论(0) 推荐(0)

在Yarn上运行spark-shell和spark-sql命令行

摘要：转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的Hadoop Yarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，export HADOOP_CON... 阅读全文

posted @ 2016-01-01 21:19 ggzone 阅读(2521) 评论(0) 推荐(0)

在Yarn上运行spark-shell和spark-sql命令行

摘要：转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的Hadoop Yarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，expo... 阅读全文

posted @ 2016-01-01 21:19 ggzone 阅读(185) 评论(0) 推荐(0)

SparkSQL On Yarn with Hive，操作和访问Hive表

摘要：转载自：http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序，访问和操作Hive中的表，这个和在Yarn上运行普通的Spark应用程序有所不同，重点是需要将Hive的依赖包以及配置... 阅读全文

posted @ 2016-01-01 21:12 ggzone 阅读(798) 评论(0) 推荐(0)

SparkSQL On Yarn with Hive，操作和访问Hive表

摘要：转载自：http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序，访问和操作Hive中的表，这个和在Yarn上运行普通的Spark应用程序有所不同，重点是需要... 阅读全文

posted @ 2016-01-01 21:12 ggzone 阅读(288) 评论(0) 推荐(0)

使用hive访问elasticsearch的数据

摘要：使用hive访问elasticsearch的数据1.配置将elasticsearch-hadoop-2.1.1.jar拷贝到hive/libhive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/lib/elasticsear... 阅读全文

posted @ 2016-01-01 20:53 ggzone 阅读(898) 评论(0) 推荐(0)

使用hive访问elasticsearch的数据

摘要：使用hive访问elasticsearch的数据1.配置将elasticsearch-hadoop-2.1.1.jar拷贝到hive/libhive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/li... 阅读全文

posted @ 2016-01-01 20:53 ggzone 阅读(230) 评论(0) 推荐(0)

hadoop配置优化

摘要：yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认8182MB yarn.scheduler.minimum-allocatio... 阅读全文

posted @ 2016-01-01 20:43 ggzone 阅读(197) 评论(0) 推荐(0)

hadoop配置优化

摘要：yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认9182MB yarn.scheduler.minimum-allocation-mb 1500 ... 阅读全文

posted @ 2016-01-01 20:42 ggzone 阅读(303) 评论(0) 推荐(0)

使用spark访问elasticsearch的数据

摘要：使用spark访问elasticsearch的数据，前提是spark能访问hive，hive能访问es http://blog.csdn.net/ggz631047367/article/details/504458321.配置cp elasticsearch-hadoop-2.1.... 阅读全文

posted @ 2016-01-01 20:39 ggzone 阅读(3586) 评论(0) 推荐(0)

使用spark访问elasticsearch的数据

摘要：使用spark访问elasticsearch的数据，前提是spark能访问hive，hive能访问es http://blog.csdn.net/ggz631047367/article/details/504458321.配置cp elasticsearc... 阅读全文

posted @ 2016-01-01 20:39 ggzone 阅读(220) 评论(0) 推荐(0)

es增量自定义更新的脚本

摘要：安装需要可软件sudo apt-get install python-pipsudo pip install elasticsearch;sudo apt-get install python-devsudo pip install MySQL-python导入脚本import.sh... 阅读全文

posted @ 2016-01-01 20:29 ggzone 阅读(472) 评论(0) 推荐(0)

es增量自定义更新的脚本

摘要：安装需要可软件sudo apt-get install python-pipsudo pip install elasticsearch;sudo apt-get install python-devsudo pip install MySQL-python... 阅读全文

posted @ 2016-01-01 20:29 ggzone 阅读(397) 评论(0) 推荐(0)

导航

公告

01 2016 档案