随笔 - 483, 文章 - 0, 评论 - 2, 阅读 - 18万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

03 2016 档案

摘要:sbt依赖name := "Pi"version := "1.0"scalaVersion := "2.10.6"libraryDependencies++= Seq( "org.apache.spark" %% "spark-core" % "1.5.2", "org.apac... 阅读全文

posted @ 2016-03-31 15:59 ggzone 阅读(229) 评论(0) 推荐(0) 编辑

摘要:sbt依赖name := "Pi"version := "1.0"scalaVersion := "2.10.6"libraryDependencies++= Seq( "org.apache.spark" %% "spark-core" % "1.5.2... 阅读全文

posted @ 2016-03-31 15:59 ggzone 阅读(147) 评论(0) 推荐(0) 编辑

摘要:mysql连接状态mysqladmin -uroot -h127.0.0.1 statusmysqladmin -uroot -h127.0.0.1 processlist 阅读全文

posted @ 2016-03-26 10:34 ggzone 阅读(127) 评论(0) 推荐(0) 编辑

摘要:mysql连接状态mysqladmin -uroot -h127.0.0.1 statusmysqladmin -uroot -h127.0.0.1 processlist 阅读全文

posted @ 2016-03-26 10:34 ggzone 阅读(116) 评论(0) 推荐(0) 编辑

摘要:因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout 默认值:3分钟(180000ms) 说明... 阅读全文

posted @ 2016-03-15 21:15 ggzone 阅读(154) 评论(0) 推荐(0) 编辑

摘要:因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout 默认值:3分钟... 阅读全文

posted @ 2016-03-15 21:15 ggzone 阅读(125) 评论(0) 推荐(0) 编辑

摘要:import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def functionToCreateContext(... 阅读全文

posted @ 2016-03-15 21:13 ggzone 阅读(283) 评论(0) 推荐(0) 编辑

摘要:import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def functionToC... 阅读全文

posted @ 2016-03-15 21:13 ggzone 阅读(99) 评论(0) 推荐(0) 编辑

摘要:import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def updateStateFunction(newV... 阅读全文

posted @ 2016-03-15 21:10 ggzone 阅读(109) 评论(0) 推荐(0) 编辑

摘要:import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def updateState... 阅读全文

posted @ 2016-03-15 21:10 ggzone 阅读(268) 评论(0) 推荐(0) 编辑

摘要:workflow创建任务进入hue–Workflows–编辑器–workflow–创建 拖一个mapreduce作业(在页面靠近顶端有一排选项图标)到页面中间虚线框中Jar路径必须是hdfs中jar包路径 添加属性:key:mapred.output.dir... 阅读全文

posted @ 2016-03-15 21:08 ggzone 阅读(498) 评论(0) 推荐(0) 编辑

摘要:workflow创建任务进入hue–Workflows–编辑器–workflow–创建 拖一个mapreduce作业(在页面靠近顶端有一排选项图标)到页面中间虚线框中Jar路径必须是hdfs中jar包路径 添加属性:key:mapred.output.dirvalue:${outpu... 阅读全文

posted @ 2016-03-15 21:07 ggzone 阅读(627) 评论(0) 推荐(0) 编辑

摘要:Mac自带了的JDK6,安装在目录:/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/下。 JDK8则需要自己到Oracle官网下载安装对应的版本。自己安装的JDK默认路径为:/Library/Java/JavaVirtualMac... 阅读全文

posted @ 2016-03-15 21:02 ggzone 阅读(109) 评论(0) 推荐(0) 编辑

摘要:Mac自带了的JDK6,安装在目录:/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/下。 JDK8则需要自己到Oracle官网下载安装对应的版本。自己安装的JDK默认路径为:/Library/Java/J... 阅读全文

posted @ 2016-03-15 21:02 ggzone 阅读(83) 评论(0) 推荐(0) 编辑

摘要:看mr的运行显示:sqoop job可以获得的select max(xxx)结果,但是当mr开始时却显示大片错误,就是连接超时,和连接重置等问题, 最后去每个节点ping mysql的ip地址,发现root@hslave1:/opt/cm-5.5.1/etc# ping 10.121... 阅读全文

posted @ 2016-03-15 21:00 ggzone 阅读(210) 评论(0) 推荐(0) 编辑

摘要:看mr的运行显示:sqoop job可以获得的select max(xxx)结果,但是当mr开始时却显示大片错误,就是连接超时,和连接重置等问题, 最后去每个节点ping mysql的ip地址,发现root@hslave1:/opt/cm-5.5.1/etc... 阅读全文

posted @ 2016-03-15 21:00 ggzone 阅读(137) 评论(0) 推荐(0) 编辑

摘要:修改所有主机/etc/hosts 修改所有agent节点的/opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini,中server的ip主节点启动cm server 从节点启动agent 阅读全文

posted @ 2016-03-15 20:54 ggzone 阅读(126) 评论(0) 推荐(0) 编辑

摘要:修改所有主机/etc/hosts 修改所有agent节点的/opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini,中server的ip主节点启动cm server 从节点启动agent 阅读全文

posted @ 2016-03-15 20:54 ggzone 阅读(103) 评论(0) 推荐(0) 编辑

摘要:转自:http://blog.csdn.net/stark_summer/article/details/44174381 未实验最近一个群友的boss让研究hbase,让hbase的入库速度达到5w+/s,这可愁死了,4台个人电脑组成的集群,多线程入库调了... 阅读全文

posted @ 2016-03-05 11:54 ggzone 阅读(141) 评论(0) 推荐(0) 编辑

摘要:转自:http://blog.csdn.net/stark_summer/article/details/44174381 未实验最近一个群友的boss让研究hbase,让hbase的入库速度达到5w+/s,这可愁死了,4台个人电脑组成的集群,多线程入库调了好久,速度也才1w左右,都... 阅读全文

posted @ 2016-03-05 11:53 ggzone 阅读(188) 评论(0) 推荐(0) 编辑

摘要:import java.sql.{DriverManager, ResultSet}import org.apache.spark._import org.apache.spark.streaming._import scala.util.Randomimp... 阅读全文

posted @ 2016-03-05 11:13 ggzone 阅读(253) 评论(0) 推荐(0) 编辑

摘要:import java.sql.{DriverManager, ResultSet}import org.apache.spark._import org.apache.spark.streaming._import scala.util.Randomimport org.apach... 阅读全文

posted @ 2016-03-05 11:12 ggzone 阅读(141) 评论(0) 推荐(0) 编辑

摘要:python:print '\xE4\xB8\xAD\xE5\x9B\xBD\xE7\x9A\x84\xE4\xB8\x8A\xE5\x8D\x88'.decode('utf-8') 阅读全文

posted @ 2016-03-05 11:11 ggzone 阅读(607) 评论(0) 推荐(0) 编辑

摘要:python:print '\xE4\xB8\xAD\xE5\x9B\xBD\xE7\x9A\x84\xE4\xB8\x8A\xE5\x8D\x88'.decode('utf-8') 阅读全文

posted @ 2016-03-05 11:11 ggzone 阅读(236) 评论(0) 推荐(0) 编辑

摘要:import org.apache.hadoop.hbase.{HTableDescriptor,HColumnDescriptor,HBaseConfiguration,TableName}import org.apache.hadoop.hbase.cl... 阅读全文

posted @ 2016-03-05 11:10 ggzone 阅读(781) 评论(0) 推荐(0) 编辑

摘要:import org.apache.hadoop.hbase.{HTableDescriptor,HColumnDescriptor,HBaseConfiguration,TableName}import org.apache.hadoop.hbase.client.{Connect... 阅读全文

posted @ 2016-03-05 11:09 ggzone 阅读(197) 评论(0) 推荐(0) 编辑

摘要:机器安装maven,在IDEA中配置maven的home创建项目:new-maven–> scala-archetype-simpleproject structure–>创建src.main.scala和src.main.java目录设置scala和java为source修改pom... 阅读全文

posted @ 2016-03-05 11:07 ggzone 阅读(327) 评论(0) 推荐(0) 编辑

摘要:机器安装maven,在IDEA中配置maven的home创建项目:new-maven–> scala-archetype-simpleproject structure–>创建src.main.scala和src.main.java目录设置scala和jav... 阅读全文

posted @ 2016-03-05 11:07 ggzone 阅读(145) 评论(0) 推荐(0) 编辑

摘要:创建非sbt的scala项目引入spark的jar包File->Project Structure->Libararies引用spark-assembly-1.5.2-hadoop2.6.0.jar编写代码import scala.math.randomimport org.apac... 阅读全文

posted @ 2016-03-05 11:04 ggzone 阅读(201) 评论(0) 推荐(0) 编辑

摘要:创建非sbt的scala项目引入spark的jar包File->Project Structure->Libararies引用spark-assembly-1.5.2-hadoop2.6.0.jar编写代码import scala.math.randomim... 阅读全文

posted @ 2016-03-05 11:04 ggzone 阅读(96) 评论(0) 推荐(0) 编辑

摘要:转自:http://www.codeweblog.com/sed%E5%88%9D%E5%AD%A6%E8%80%85%E5%AE%9E%E7%94%A8%E8%AF%B4%E6%98%8E/sed的调用方式:1、sed [sed选项] 'sed命令' 要修改的文件2、sed [sed选项] -... 阅读全文

posted @ 2016-03-05 10:46 ggzone 阅读(139) 评论(0) 推荐(0) 编辑

摘要:转自:http://www.codeweblog.com/sed%E5%88%9D%E5%AD%A6%E8%80%85%E5%AE%9E%E7%94%A8%E8%AF%B4%E6%98%8E/sed的调用方式:1、sed [sed选项] 'sed命令' 要修改的文... 阅读全文

posted @ 2016-03-05 10:46 ggzone 阅读(87) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示