随笔 - 483, 文章 - 0, 评论 - 2, 阅读 - 18万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

12 2015 档案

摘要:开启script:Scripting settingseditThe script.disable_dynamic node setting has been replaced by fine-grained script settings described in ... 阅读全文

posted @ 2015-12-27 21:05 ggzone 阅读(969) 评论(0) 推荐(0) 编辑

摘要:开启script:Scripting settingseditThescript.disable_dynamicnode setting has been replaced by fine-grained script settings described in thescripting docs.... 阅读全文

posted @ 2015-12-27 21:04 ggzone 阅读(905) 评论(0) 推荐(0) 编辑

摘要:详细:https://github.com/jprante/elasticsearch-jdbc(最下面有各数据库的导入方法说明)elasticsearch版本为1.5.21、下载 elasticsearch-jdbc 1.5.2.0wget http://... 阅读全文

posted @ 2015-12-27 21:01 ggzone 阅读(1062) 评论(0) 推荐(0) 编辑

摘要:详细:https://github.com/jprante/elasticsearch-jdbc(最下面有各数据库的导入方法说明)elasticsearch版本为1.5.21、下载 elasticsearch-jdbc 1.5.2.0wget http://xbib.org/repo... 阅读全文

posted @ 2015-12-27 21:00 ggzone 阅读(1638) 评论(0) 推荐(0) 编辑

摘要:ELK版本:logstash-1.4.2 kibana-4.0.3redis-3.0.0elasticsearch-1.4.4(最低版本)分别启动命令:redis-server redis.confbin/logstash agent --verbose --config conf/... 阅读全文

posted @ 2015-12-19 18:27 ggzone 阅读(388) 评论(0) 推荐(0) 编辑

摘要:ELK版本:logstash-1.4.2 kibana-4.0.3redis-3.0.0elasticsearch-1.4.4(最低版本)分别启动命令:redis-server redis.confbin/logstash agent --verbose -... 阅读全文

posted @ 2015-12-19 18:27 ggzone 阅读(107) 评论(0) 推荐(0) 编辑

摘要:apt-get install gcc tclmake MALLOC=libc 阅读全文

posted @ 2015-12-19 18:22 ggzone 阅读(94) 评论(0) 推荐(0) 编辑

摘要:apt-get install gcc tclmake MALLOC=libc 阅读全文

posted @ 2015-12-19 18:21 ggzone 阅读(130) 评论(0) 推荐(0) 编辑

摘要:eclipse->文件->export->java->JAR file选择项目,Options增加Add directory entriesfinishhadoop jar /tmp/hive-merge.jar merge.merge /user/hive... 阅读全文

posted @ 2015-12-19 18:05 ggzone 阅读(100) 评论(0) 推荐(0) 编辑

摘要:eclipse->文件->export->java->JAR file选择项目,Options增加Add directory entriesfinishhadoop jar /tmp/hive-merge.jar merge.merge /user/hive/warehouse/ac... 阅读全文

posted @ 2015-12-19 18:04 ggzone 阅读(126) 评论(0) 推荐(0) 编辑

摘要:eclipse->文件->export->java->JAR file 选择项目,Options增加Add directory entries finish hadoop jar /tmp/hive-merge.jar merge.merge /user/hive/warehouse/achi /u 阅读全文

posted @ 2015-12-19 18:04 ggzone 阅读(151) 评论(0) 推荐(0) 编辑

摘要:1.使用mr进行合并 2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数 3.使用appendToFile 4.使用hadoop提供的打包压缩技术 Usage: hadoop fs [generic options][-append... 阅读全文

posted @ 2015-12-19 18:02 ggzone 阅读(148) 评论(0) 推荐(0) 编辑

摘要:1.使用mr进行合并 2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数 3.使用appendToFile 4.使用hadoop提供的打包压缩技术 Usage: hadoop fs [generic options][-appendToFile … ][-... 阅读全文

posted @ 2015-12-19 18:01 ggzone 阅读(360) 评论(0) 推荐(0) 编辑

摘要:1.使用mr进行合并 2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数 3.使用appendToFile 4.使用hadoop提供的打包压缩技术 Usage: hadoop fs [generic options] [-appendToFile … ] [-getmerge 阅读全文

posted @ 2015-12-19 18:01 ggzone 阅读(203) 评论(0) 推荐(0) 编辑

摘要:转载自:http://xdays.me/ansible状态管理.html简介就像所有服务器批量管理工具(puppet有DSL,salt有state)一样,ansible也有自己的状态管理组件,叫做playbook。所有这些类似的概念的东西都是让你用一种更简单的语言... 阅读全文

posted @ 2015-12-19 17:56 ggzone 阅读(167) 评论(0) 推荐(0) 编辑

摘要:转载自:http://xdays.me/ansible状态管理.html简介就像所有服务器批量管理工具(puppet有DSL,salt有state)一样,ansible也有自己的状态管理组件,叫做playbook。所有这些类似的概念的东西都是让你用一种更简单的语言(而不是用脚本)来描述你的服务应... 阅读全文

posted @ 2015-12-19 17:55 ggzone 阅读(1688) 评论(0) 推荐(0) 编辑

摘要:将多个符合正则的文件拷贝到目标机器- name: Copycopy: src={{ item }} dest=/root/.sshkeys mode=0600owner=root group=rootwith_fileglob:- keys/*.pub将多个... 阅读全文

posted @ 2015-12-19 17:53 ggzone 阅读(201) 评论(0) 推荐(0) 编辑

摘要:将多个符合正则的文件拷贝到目标机器- name: Copycopy: src={{ item }} dest=/root/.sshkeys mode=0600owner=root group=rootwith_fileglob:- keys/*.pub将多个文件合并- name: A... 阅读全文

posted @ 2015-12-19 17:52 ggzone 阅读(181) 评论(0) 推荐(0) 编辑

摘要:1.在python中,“=”的作用是讲对象引用与内存中的某对象进行绑定。2.元组()是固定的,创建之后就不能改变;列表[]是可变的,可以插入或移除数据项3.列表与元组并不真正存储数据项,而是存放对象引用。创建列表与元组时,实际上是使用其给定对象引用的副本。在... 阅读全文

posted @ 2015-12-19 17:49 ggzone 阅读(96) 评论(0) 推荐(0) 编辑

摘要:1.在python中,“=”的作用是讲对象引用与内存中的某对象进行绑定。2.元组()是固定的,创建之后就不能改变;列表[]是可变的,可以插入或移除数据项3.列表与元组并不真正存储数据项,而是存放对象引用。创建列表与元组时,实际上是使用其给定对象引用的副本。在字面值情况下,会在内存中创... 阅读全文

posted @ 2015-12-19 17:48 ggzone 阅读(118) 评论(0) 推荐(0) 编辑

摘要:maven项目添加依赖: org.apache.thrift libthrift 0.9.3 log4j log4j 1.2.17 将生成好的文件夹拷贝到项目中服务端: ... 阅读全文

posted @ 2015-12-19 17:46 ggzone 阅读(516) 评论(0) 推荐(0) 编辑

摘要:maven项目添加依赖: org.apache.thrift libthrift 0.9.3 log4j log4j 1.2.17 将生成好的文... 阅读全文

posted @ 2015-12-19 17:46 ggzone 阅读(121) 评论(0) 推荐(0) 编辑

摘要:sudo pip install pyhs2网上找的例子:#!/usr/bin/env python# -*- coding: utf-8 -*-# hive util with hive server2"""@author:knktc@create:201... 阅读全文

posted @ 2015-12-12 10:47 ggzone 阅读(544) 评论(0) 推荐(0) 编辑

摘要:sudo pip install pyhs2网上找的例子:#!/usr/bin/env python# -*- coding: utf-8 -*-# hive util with hive server2"""@author:knktc@create:2014-04-08 16:55... 阅读全文

posted @ 2015-12-12 10:46 ggzone 阅读(353) 评论(0) 推荐(0) 编辑

摘要:将hive-site.xml拷贝到spark目录下conf文件夹 local模式spark-sql --driver-class-path /usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar或者 需要在$SPAR... 阅读全文

posted @ 2015-12-12 10:34 ggzone 阅读(911) 评论(0) 推荐(0) 编辑

摘要:spark sql访问hive表1.将hive-site.xml拷贝到spark目录下conf文件夹2.(非必需)将mysql的jar包引入到spark的classpath,方式有如下两种:方式1:需要在$SPARK_HOME/conf/spark-env.... 阅读全文

posted @ 2015-12-12 10:34 ggzone 阅读(561) 评论(0) 推荐(0) 编辑

摘要:WARN org.mortbay.log: Failed to read file: /usr/lib/jvm/jdk1.8.0_66/jre/lib/ext/._cldrdata.jar删除._cldrdata.jar 阅读全文

posted @ 2015-12-12 10:26 ggzone 阅读(119) 评论(0) 推荐(0) 编辑

摘要:WARN org.mortbay.log: Failed to read file: /usr/lib/jvm/jdk1.8.0_66/jre/lib/ext/._cldrdata.jar删除._cldrdata.jar 阅读全文

posted @ 2015-12-12 10:25 ggzone 阅读(127) 评论(0) 推荐(0) 编辑

摘要:错误:cannot enable tty mode on non tty input错误产生:root@machine1:/data# echo test|docker exec -i 68b cat test root@machine1:/data# echo... 阅读全文

posted @ 2015-12-12 10:23 ggzone 阅读(190) 评论(0) 推荐(0) 编辑

摘要:错误:cannot enable tty mode on non tty input错误产生:root@machine1:/data# echo test|docker exec -i 68b cat test root@machine1:/data# echo test|docker exe... 阅读全文

posted @ 2015-12-12 10:22 ggzone 阅读(426) 评论(0) 推荐(0) 编辑

摘要:创建项目django-admin startproject myWeb运行python manage.py runserver创建一个模块python manage.py startapp buServerpython manage.py createsup... 阅读全文

posted @ 2015-12-12 10:15 ggzone 阅读(121) 评论(0) 推荐(0) 编辑

摘要:python manage.py createsuperuserpython manage.py migrate生成网站的supervisor配置文件:echo_supervisord_conf >myWeb.conf修改配置文件: /etc/supervisor/conf.d/my... 阅读全文

posted @ 2015-12-12 10:14 ggzone 阅读(433) 评论(0) 推荐(0) 编辑

摘要:最简单方式是按主键增量导入:http://blog.csdn.net/ggz631047367/article/details/50185319以下方法只做存档需求:redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入,比如上次red... 阅读全文

posted @ 2015-12-05 14:07 ggzone 阅读(176) 评论(0) 推荐(0) 编辑

摘要:需求:redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入,比如上次redis向mysql导入数据时间为8:00,下一次导入时间为9:00,8:20sqoop进行增量导入,导入的时*~8:20的数据,sqoop把job中的最后导入时间设置为8:20。当9:00... 阅读全文

posted @ 2015-12-05 14:06 ggzone 阅读(753) 评论(0) 推荐(0) 编辑

摘要:ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2.重启rsyslog su... 阅读全文

posted @ 2015-12-05 13:42 ggzone 阅读(170) 评论(0) 推荐(0) 编辑

摘要:ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2... 阅读全文

posted @ 2015-12-05 13:42 ggzone 阅读(239) 评论(0) 推荐(0) 编辑

摘要:MR代码:package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop... 阅读全文

posted @ 2015-12-05 13:39 ggzone 阅读(276) 评论(0) 推荐(0) 编辑

摘要:MR代码:package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritab... 阅读全文

posted @ 2015-12-05 13:38 ggzone 阅读(680) 评论(0) 推荐(0) 编辑

摘要:sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password root -m 1 --hi... 阅读全文

posted @ 2015-12-05 13:26 ggzone 阅读(350) 评论(0) 推荐(0) 编辑

摘要:sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password ro... 阅读全文

posted @ 2015-12-05 13:26 ggzone 阅读(125) 评论(0) 推荐(0) 编辑

摘要:hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:16 ggzone 阅读(266) 评论(0) 推荐(0) 编辑

摘要:hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:15 ggzone 阅读(1689) 评论(0) 推荐(0) 编辑

摘要:1.下载scala-2.10.6包解压到指定目录#SCALA VARIABLES STARTexport SCALA_HOME=/usr/local/scala-2.10.6export PATH=$PATH:$SCALA_HOME/bin#SCALA VARIABLES END2.... 阅读全文

posted @ 2015-12-05 13:03 ggzone 阅读(535) 评论(0) 推荐(0) 编辑

摘要:Spark Standalone1.下载scala-2.10.6包解压到指定目录,添加环境变量#SCALA VARIABLES STARTexport SCALA_HOME=/usr/local/scala-2.10.6export PATH=$PATH:$... 阅读全文

posted @ 2015-12-05 13:03 ggzone 阅读(153) 评论(0) 推荐(0) 编辑

摘要:1.初始化一个git项目:git init2.添加一个新文件,执行git statusPS D:\gittest> git statusOn branch masterInitial commitUntracked files: (use "git add... 阅读全文

posted @ 2015-12-05 12:37 ggzone 阅读(110) 评论(0) 推荐(0) 编辑

摘要:删除本地旧分支,拉取新分支 #!/bin/bashset -e cd /project/git pullgit fetch ori --prunegit branch -r|sed 's/ori\///g'|grep -v HEAD > $(dirname "$0")/version... 阅读全文

posted @ 2015-12-05 12:36 ggzone 阅读(107) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示