随笔 - 483, 文章 - 0, 评论 - 2, 阅读 - 18万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

01 2016 档案

摘要:错误日志:regionserver.HRegionServer: Failed deleting my ephemeral nodezookeeper.RecoverableZooKeeper: ZooKeeper delete failed after 4... 阅读全文

posted @ 2016-01-30 13:50 ggzone 阅读(247) 评论(0) 推荐(0) 编辑

摘要:错误日志:regionserver.HRegionServer: Failed deleting my ephemeral nodezookeeper.RecoverableZooKeeper: ZooKeeper delete failed after 4 attempts解决:a... 阅读全文

posted @ 2016-01-30 13:49 ggzone 阅读(326) 评论(0) 推荐(0) 编辑

摘要:机器总共16G内存,sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address ... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(4737) 评论(0) 推荐(0) 编辑

摘要:机器总共16G内存,sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.a... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(140) 评论(0) 推荐(0) 编辑

摘要:未使用root用户操作: 数据库版本要一致 数据目录:/data/mysqlbak/ 先按阿里给的步骤操作,最后出现一步出现,无法找到back_xxx.conf,但该文件已经存在。解决方法:sudo vim /etc/apparmor.d/usr.sbin.... 阅读全文

posted @ 2016-01-30 13:22 ggzone 阅读(104) 评论(0) 推荐(0) 编辑

摘要:未使用root用户操作: 数据库版本要一致 数据目录:/data/mysqlbak/ 先按阿里给的步骤操作,最后出现一步出现,无法找到back_xxx.conf,但该文件已经存在。解决方法:sudo vim /etc/apparmor.d/usr.sbin.mysqld添加: /da... 阅读全文

posted @ 2016-01-30 13:21 ggzone 阅读(128) 评论(0) 推荐(0) 编辑

摘要:hive中field如果是string,比如id,那么使用10000000000+id结果是科学计数法显示,转换为正常显示方法:select (10000000000+cast(id as int)) as id from tb1 limit 10;hive 调用java的函数,必... 阅读全文

posted @ 2016-01-30 13:17 ggzone 阅读(812) 评论(0) 推荐(0) 编辑

摘要:hive中field如果是string,比如id,那么使用10000000000+id结果是科学计数法显示,转换为正常显示方法:select (10000000000+cast(id as int)) as id from tb1 limit 10;hiv... 阅读全文

posted @ 2016-01-30 13:17 ggzone 阅读(277) 评论(0) 推荐(0) 编辑

摘要:CREATE EXTERNAL TABLE table1(key string,zoneid int,result int,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' W... 阅读全文

posted @ 2016-01-30 13:10 ggzone 阅读(146) 评论(0) 推荐(0) 编辑

摘要:CREATE EXTERNAL TABLE table1(key string,zoneid int,result int,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROP... 阅读全文

posted @ 2016-01-30 13:09 ggzone 阅读(190) 评论(0) 推荐(0) 编辑

摘要:sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --qu... 阅读全文

posted @ 2016-01-30 13:04 ggzone 阅读(314) 评论(0) 推荐(0) 编辑

摘要:sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select r... 阅读全文

posted @ 2016-01-30 13:03 ggzone 阅读(1094) 评论(2) 推荐(0) 编辑

摘要:$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 阅读全文

posted @ 2016-01-30 12:58 ggzone 阅读(101) 评论(0) 推荐(0) 编辑

摘要:$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 阅读全文

posted @ 2016-01-30 12:57 ggzone 阅读(147) 评论(0) 推荐(0) 编辑

摘要:待研究,只做保存将HDFS中不同目录下面的数据合在一起,并存放在指定的目录中,示例如:sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(540) 评论(0) 推荐(0) 编辑

摘要:待研究,只做保存将HDFS中不同目录下面的数据合在一起,并存放在指定的目录中,示例如:sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(128) 评论(0) 推荐(0) 编辑

摘要:问题: 需要查询某一用户某时间做了什么,PlatID和vopenid可以保证一个用户唯一,但同一时间同一用户可能日志有多条。 使用PlatID(int)、vopenid(int)和dtTime(datetime)查询保持所有rowkey长度一致 PlatID... 阅读全文

posted @ 2016-01-24 12:38 ggzone 阅读(137) 评论(0) 推荐(0) 编辑

摘要:问题: 需要查询某一用户某时间做了什么,PlatID和vopenid可以保证一个用户唯一,但同一时间同一用户可能日志有多条。 使用PlatID(int)、vopenid(int)和dtTime(datetime)查询保持所有rowkey长度一致 PlatID总是一位,vopenid不... 阅读全文

posted @ 2016-01-24 12:37 ggzone 阅读(576) 评论(0) 推荐(0) 编辑

摘要:#include#include#include#include#include#include#include#include#include#include#include#include#include /* 创建UDP套接口 */ struct sockaddr_i... 阅读全文

posted @ 2016-01-24 11:56 ggzone 阅读(486) 评论(0) 推荐(0) 编辑

摘要:#include#include#include#include#include#include#include#include#include#include#include#include#include /* 创建UDP套接口 */ stru... 阅读全文

posted @ 2016-01-24 11:56 ggzone 阅读(130) 评论(0) 推荐(0) 编辑

摘要:1、设置webhookgitlab->setting->webhook:http://21.43.181.66:7000?token=230a1428-b396-12e5-9912-ba1be0483c182、设置django 注释掉下列所示一行,关闭CSRFMIDDLEWAR... 阅读全文

posted @ 2016-01-24 11:50 ggzone 阅读(155) 评论(0) 推荐(0) 编辑

摘要:1、设置webhookgitlab->setting->webhook:http://21.43.181.66:7000?token=230a1428-b396-12e5-9912-ba1be0483c182、设置django 注释掉下列所示一行,关闭... 阅读全文

posted @ 2016-01-24 11:50 ggzone 阅读(103) 评论(0) 推荐(0) 编辑

摘要:1、设置webhook gitlab->setting->webhook:http://121.143.191.166:7000?token=23028-b396-12e5-9912-bae0483c18 2、设置django 注释掉下列所示一行,关闭CSRF MIDDLEWARE_CLASSES 阅读全文

posted @ 2016-01-24 11:50 ggzone 阅读(936) 评论(0) 推荐(0) 编辑

摘要:from email.mime.multipart import MIMEMultipartfrom email.mime.text import MIMETextimport smtplibimport sysimport osimport datetim... 阅读全文

posted @ 2016-01-24 11:42 ggzone 阅读(115) 评论(0) 推荐(0) 编辑

摘要:from email.mime.multipart import MIMEMultipartfrom email.mime.text import MIMETextimport smtplibimport sysimport osimport datetimeimport timei... 阅读全文

posted @ 2016-01-24 11:41 ggzone 阅读(317) 评论(0) 推荐(0) 编辑

摘要:软件下载: http://archive.apache.org hbase对Hadoop的支持矩阵: https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:31 ggzone 阅读(129) 评论(0) 推荐(0) 编辑

摘要:软件下载: http://archive.apache.org hbase对Hadoop的支持矩阵: https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:30 ggzone 阅读(152) 评论(0) 推荐(0) 编辑

摘要:环境:hadoop2.6.1,zk3.4.61.配置环境变量 sudo vi /etc/profile.d/hbase-env.shexport HBASE_HOME=/usr/local/hbase-1.1.2export PATH=$PATH:/usr/... 阅读全文

posted @ 2016-01-16 13:24 ggzone 阅读(110) 评论(0) 推荐(0) 编辑

摘要:环境:hadoop2.6.1,zk3.4.61.配置环境变量 sudo vi /etc/profile.d/hbase-env.shexport HBASE_HOME=/usr/local/hbase-1.1.2export PATH=$PATH:/usr/local/hbase-1... 阅读全文

posted @ 2016-01-16 13:23 ggzone 阅读(1127) 评论(0) 推荐(0) 编辑

摘要:错误1:user0@slave1:/usr/local/zookeeper-3.4.6$ zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.... 阅读全文

posted @ 2016-01-16 13:16 ggzone 阅读(162) 评论(0) 推荐(0) 编辑

摘要:错误1:user0@slave1:/usr/local/zookeeper-3.4.6$ zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.6/bin... 阅读全文

posted @ 2016-01-16 13:16 ggzone 阅读(153) 评论(0) 推荐(0) 编辑

摘要:五种迭代器:在STL中,迭代器主要分为5类,分别是:输入迭代器、输出迭代器、前向迭代器、双向迭代器和随机访问迭代器。 输入迭代器 :只读,支持++、==、!=; 输出迭代器 :只写,支持++; 前向迭代器 :读写,支持++、==、!=; ... 阅读全文

posted @ 2016-01-15 11:18 ggzone 阅读(189) 评论(0) 推荐(0) 编辑

摘要:五种迭代器:在STL中,迭代器主要分为5类,分别是:输入迭代器、输出迭代器、前向迭代器、双向迭代器和随机访问迭代器。 输入迭代器 :只读,支持++、==、!=; 输出迭代器 :只写,支持++; 前向迭代器 :读写,支持++、... 阅读全文

posted @ 2016-01-15 11:18 ggzone 阅读(85) 评论(0) 推荐(0) 编辑

摘要:下面是一个要用到mysql库的C++程序设置: 添加用户头文件: 双击项目—Build Settings—Search Paths: Library Search Paths: /usr/local/lib User Header Search Paths:... 阅读全文

posted @ 2016-01-10 12:07 ggzone 阅读(808) 评论(0) 推荐(0) 编辑

摘要:下面是一个要用到mysql库的C++程序设置: 添加用户头文件: 双击项目—Build Settings—Search Paths: Library Search Paths: /usr/local/lib User Header Search Paths: /usr/local/i... 阅读全文

posted @ 2016-01-10 12:06 ggzone 阅读(954) 评论(0) 推荐(0) 编辑

摘要:安装sendmail /usr/lib/zabbix/alertscripts/SendEmail.sh#!/bin/bashto_email_address="$1" # 收件人Email地址,zabbix传入的第一个参数mes... 阅读全文

posted @ 2016-01-10 12:01 ggzone 阅读(159) 评论(0) 推荐(0) 编辑

摘要:安装sendmail /usr/lib/zabbix/alertscripts/SendEmail.sh#!/bin/bashto_email_address="$1" # 收件人Email地址,zabbix传入的第一个参数message_subject_... 阅读全文

posted @ 2016-01-10 12:00 ggzone 阅读(383) 评论(0) 推荐(0) 编辑

摘要:在Linux系统下,一个Services的启动、停止以及重启通常是通过/etc/init.d目录下的脚本来控制的。然而,在启动或改变运行级别时,是在/etc/rcX.d中来搜索脚本。其中X是运行级别的number。本文将解释如何启动、关闭和修改服务的运行。当你在Debian下安装一个... 阅读全文

posted @ 2016-01-10 11:49 ggzone 阅读(392) 评论(0) 推荐(0) 编辑

摘要:在Linux系统下,一个Services的启动、停止以及重启通常是通过/etc/init.d目录下的脚本来控制的。然而,在启动或改变运行级别时,是在/etc/rcX.d中来搜索脚本。其中X是运行级别的number。本文将解释如何启动、关闭和修改服务的运行。当... 阅读全文

posted @ 2016-01-10 11:49 ggzone 阅读(118) 评论(0) 推荐(0) 编辑

摘要:所有linux系统详细设置参考: https://docs.mongodb.org/manual/tutorial/transparent-huge-pages/vi /etc/init.d/disable-transparent-hugepages#!/b... 阅读全文

posted @ 2016-01-10 11:47 ggzone 阅读(273) 评论(0) 推荐(0) 编辑

摘要:所有linux系统详细设置参考: https://docs.mongodb.org/manual/tutorial/transparent-huge-pages/vi /etc/init.d/disable-transparent-hugepages#!/bin/sh### BEGI... 阅读全文

posted @ 2016-01-10 11:46 ggzone 阅读(853) 评论(0) 推荐(0) 编辑

摘要:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories查看是否开启transparent_hugepageredhatc... 阅读全文

posted @ 2016-01-10 11:44 ggzone 阅读(153) 评论(0) 推荐(0) 编辑

摘要:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories查看是否开启transparent_hugepageredhatcat /sys/kerne... 阅读全文

posted @ 2016-01-10 11:43 ggzone 阅读(506) 评论(0) 推荐(0) 编辑

摘要:https://cwiki.apache.org/confluence/display/Hive/HCatalog+CLIhive的配置中添加:export PATH=$PATH:$HIVE_HOME/hcatalog/bin:$HIVE_HOME/hcatalo... 阅读全文

posted @ 2016-01-10 11:23 ggzone 阅读(209) 评论(0) 推荐(0) 编辑

摘要:https://cwiki.apache.org/confluence/display/Hive/HCatalog+CLIhive的配置中添加:export PATH=$PATH:$HIVE_HOME/hcatalog/bin:$HIVE_HOME/hcatalog/sbinHCatalog C... 阅读全文

posted @ 2016-01-10 11:22 ggzone 阅读(721) 评论(0) 推荐(0) 编辑

摘要:–查看时间调度器是否开启SHOW VARIABLES LIKE 'event_scheduler';SELECT @@event_scheduler;–开启时间调度器SET GLOBAL event_scheduler = ON;–创建定时任务create ... 阅读全文

posted @ 2016-01-10 11:21 ggzone 阅读(154) 评论(0) 推荐(0) 编辑

摘要:–查看时间调度器是否开启SHOW VARIABLES LIKE 'event_scheduler';SELECT @@event_scheduler;–开启时间调度器SET GLOBAL event_scheduler = ON;–创建定时任务create event if not ... 阅读全文

posted @ 2016-01-10 11:20 ggzone 阅读(145) 评论(0) 推荐(0) 编辑

摘要:转载自:http://lxw1234.com/archives/2015/07/416.htm 关键字:Spark On Yarn、Spark Yarn Cluster、Spark Yarn ClientSpark On Yarn模式配置非常简单,只需要下载... 阅读全文

posted @ 2016-01-01 21:22 ggzone 阅读(215) 评论(0) 推荐(0) 编辑

摘要:转载自:http://lxw1234.com/archives/2015/07/416.htm 关键字:Spark On Yarn、Spark Yarn Cluster、Spark Yarn ClientSpark On Yarn模式配置非常简单,只需要下载编译好的Spark安装包,... 阅读全文

posted @ 2016-01-01 21:21 ggzone 阅读(687) 评论(0) 推荐(0) 编辑

摘要:转载自:http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的Hadoop Yarn环境,那么只需要下载相应版本的Spark,解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录,export HADOOP_CON... 阅读全文

posted @ 2016-01-01 21:19 ggzone 阅读(2432) 评论(0) 推荐(0) 编辑

摘要:转载自:http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的Hadoop Yarn环境,那么只需要下载相应版本的Spark,解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录,expo... 阅读全文

posted @ 2016-01-01 21:19 ggzone 阅读(177) 评论(0) 推荐(0) 编辑

摘要:转载自:http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序,访问和操作Hive中的表,这个和在Yarn上运行普通的Spark应用程序有所不同,重点是需要将Hive的依赖包以及配置... 阅读全文

posted @ 2016-01-01 21:12 ggzone 阅读(775) 评论(0) 推荐(0) 编辑

摘要:转载自:http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序,访问和操作Hive中的表,这个和在Yarn上运行普通的Spark应用程序有所不同,重点是需要... 阅读全文

posted @ 2016-01-01 21:12 ggzone 阅读(273) 评论(0) 推荐(0) 编辑

摘要:使用hive访问elasticsearch的数据1.配置 将elasticsearch-hadoop-2.1.1.jar拷贝到hive/libhive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/lib/elasticsear... 阅读全文

posted @ 2016-01-01 20:53 ggzone 阅读(887) 评论(0) 推荐(0) 编辑

摘要:使用hive访问elasticsearch的数据1.配置 将elasticsearch-hadoop-2.1.1.jar拷贝到hive/libhive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/li... 阅读全文

posted @ 2016-01-01 20:53 ggzone 阅读(219) 评论(0) 推荐(0) 编辑

摘要:yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认8182MB yarn.scheduler.minimum-allocatio... 阅读全文

posted @ 2016-01-01 20:43 ggzone 阅读(188) 评论(0) 推荐(0) 编辑

摘要:yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认9182MB yarn.scheduler.minimum-allocation-mb 1500 ... 阅读全文

posted @ 2016-01-01 20:42 ggzone 阅读(295) 评论(0) 推荐(0) 编辑

摘要:使用spark访问elasticsearch的数据,前提是spark能访问hive,hive能访问es http://blog.csdn.net/ggz631047367/article/details/504458321.配置cp elasticsearch-hadoop-2.1.... 阅读全文

posted @ 2016-01-01 20:39 ggzone 阅读(3569) 评论(0) 推荐(0) 编辑

摘要:使用spark访问elasticsearch的数据,前提是spark能访问hive,hive能访问es http://blog.csdn.net/ggz631047367/article/details/504458321.配置cp elasticsearc... 阅读全文

posted @ 2016-01-01 20:39 ggzone 阅读(210) 评论(0) 推荐(0) 编辑

摘要:安装需要可软件sudo apt-get install python-pipsudo pip install elasticsearch;sudo apt-get install python-devsudo pip install MySQL-python导入脚本import.sh... 阅读全文

posted @ 2016-01-01 20:29 ggzone 阅读(464) 评论(0) 推荐(0) 编辑

摘要:安装需要可软件sudo apt-get install python-pipsudo pip install elasticsearch;sudo apt-get install python-devsudo pip install MySQL-python... 阅读全文

posted @ 2016-01-01 20:29 ggzone 阅读(393) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示