stark_summer

2015年1月19日

摘要：当构建完TaskScheduler之后，我们需要构建DAGScheduler这个核心对象：进入其构造函数中：可以看出构建DAGScheduler实例的时候需要把TaskScheduler实例对象作为参数传入。LiveListenerBus：MapOutputTrackerMaster：BlockMa... 阅读全文

posted @ 2015-01-19 20:55 stark_summer 阅读(286) 评论(0) 推荐(0) 编辑

spark内核揭秘-06-TaskSceduler启动源码解析初体验

摘要： TaskScheduler实例对象启动源代码如下所示：从上面代码可以看出来，taskScheduler的启动是在SparkContext找到TaskSchedulerImpl实现类中的start方法实现：1、从上代码看到，先启动CoarseGrainedSchedulerBackend，从上面Coa... 阅读全文

posted @ 2015-01-19 18:15 stark_summer 阅读(278) 评论(0) 推荐(0) 编辑

spark内核揭秘-05-SparkContext核心源码解析初体验

摘要： SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例：进入createTaskScheduler方法：我们看一下其Standalone的方式：在上述代码中首先实例化一个TaskSchedulerImpl：然后构建出了masterUrls：接着创建出关键的b... 阅读全文

posted @ 2015-01-19 15:08 stark_summer 阅读(153) 评论(0) 推荐(0) 编辑

2015年1月18日

spark内核揭秘-04-spark任务调度系统个人理解

摘要： spark的任务调度系统如下所示：从上图中可以看出来由RDD Objects产生DAG，然后进入了DAGScheduler阶段，DAGScheduler是面向state的高层次的调度器，DAGScheduler把DAG拆分成很多的tasks，每组的tasks都是一个state，每当遇到shuffle... 阅读全文

posted @ 2015-01-18 13:35 stark_summer 阅读(232) 评论(0) 推荐(0) 编辑

spark内核揭秘-03-spark核心组件

摘要： spark核心组件如下所示：在SparkContext初始化的时候，会初始化一系列内容：查看内存使用情况：创建和启动scheduler：集群核心组件中的Block tracker是用于block和partition对应关系的管理。集群核心组件中的shuffle tracker是用于记录shuffle... 阅读全文

posted @ 2015-01-18 09:46 stark_summer 阅读(204) 评论(0) 推荐(0) 编辑

spark内核揭秘-02-spark集群概览

摘要： Spark集群预览：官方文档对spark集群的初步描述如下，这是一个典型的主从结构：官方文档对spark集群中的一些关键点给出详细的指导：其Worker的定义如下所示：需要注意的是Spark Driver所在的集群需要和Spark集群最好位于同一个网络环境中，因为Driver中的SparkConte... 阅读全文

posted @ 2015-01-18 09:15 stark_summer 阅读(150) 评论(0) 推荐(0) 编辑

spark内核揭秘-01-spark内核核心术语解析

摘要： Application:Application是创建了SparkContext实例对象的spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个SparkContext对象，其名称为sc:Job:和Spark的action相对应，... 阅读全文

posted @ 2015-01-18 09:01 stark_summer 阅读(187) 评论(0) 推荐(0) 编辑

2015年1月16日

spark架构设计&编程模型 02

摘要：启动spark-shell:简单的RDD：上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例：我们把生成的RDD的每个元素都乘以3：上述的操作都是transformations我们需要触发一个action才能执行：我们可以看到预期结果，但我们可以看到co... 阅读全文

posted @ 2015-01-16 18:52 stark_summer 阅读(128) 评论(0) 推荐(0) 编辑

spark架构设计&编程模型01

posted @ 2015-01-16 17:25 stark_summer 阅读(146) 评论(0) 推荐(0) 编辑

hadoop&spark mapreduce对比 & 框架设计和理解

摘要： Hadoop MapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘spark map reduce:RDD is everything for dev:Basic Concepts:Graph RDD:Spark Runtime:schedule:De... 阅读全文

posted @ 2015-01-16 15:15 stark_summer 阅读(293) 评论(0) 推荐(0) 编辑

2015年1月15日

maven 根据P参数值打包动态修改properties文件中值或一定properties

摘要：由于本人最近忙着公司事情，昨天没有写博客，今天就继续写吧需求：由于最近开发clover项目，没有使用spring，更没有使用任何框架，而使用J2EE的web工程，所以连接ZK和MongoDB、Redis等服务器需用指定properties文件，而目前公司又分各套环境（dev、test、produ... 阅读全文

posted @ 2015-01-15 17:56 stark_summer 阅读(5104) 评论(0) 推荐(0) 编辑

2015年1月13日

scala入门-10 隐式转换、隐式参数、隐式类

摘要：到目前为止，隐式转换是scala的重点和难点了，加油~我们先创建一个类名称叫Implicit.scala再看一个隐式参数的例子：上面的例子中使用了隐式参数，我们也可以明显的指明参数：下面看一下隐式类：相当于：到目前为止，本人已经把所有scala在spark中开发中所涉及的基础知识练习了一遍了，稍后我... 阅读全文

posted @ 2015-01-13 18:40 stark_summer 阅读(147) 评论(0) 推荐(0) 编辑

scala入门-09 scala高阶函数

摘要：我们做spark开发会使用很多spark的高阶函数所以今天我就在linux服务上使用scala高阶函数声明一个List集合：List集合所在的包已经被预定义自动引入，所以此处就不需要在引入包了，这里直接使用List实例化对象，其实用List的object对象的apply方法我们使用map函数把... 阅读全文

posted @ 2015-01-13 17:36 stark_summer 阅读(149) 评论(0) 推荐(0) 编辑

scala入门-08 apply方法和单例对象的使用

摘要：首先在scala下的 org.scala.clazz下创建UsageOfApply.scala我们做过Java开发都知道 main方法中的对象都是静态的，而scala object对象的方法都是静态方法接下来我们看下 apply是如何使用的当 val applyTest = new ApplyT... 阅读全文

posted @ 2015-01-13 15:27 stark_summer 阅读(204) 评论(0) 推荐(0) 编辑

查看linux系统信息命令(kernel、os、cpu等)

摘要： 1、查看当前操作系统内核信息[spark@S1PA222 tomcat6]$ uname -aLinux S1PA222 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux2... 阅读全文

posted @ 2015-01-13 12:18 stark_summer 阅读(1337) 评论(0) 推荐(1) 编辑

2015年1月12日

scala入门-07特质类(trait)的使用

摘要： trait类似于Java8中的可用带default method的接口。trait中可以带有实现的方法，也可以带有抽象方法，使用trait的方法是with而混入类中。我们在scala下的org.scala.clazz下创建一个类MyTrait.scala定义一个特质类 Logger定义MyLogge... 阅读全文

posted @ 2015-01-12 18:45 stark_summer 阅读(188) 评论(0) 推荐(0) 编辑

scala入门-06抽象类(abstract)的使用

摘要：在scala下的org.scala.clazz下创建AbstractScala.scala创建抽象类使用abstract关键字ITCoder类继承Person类并重写speak方法，重写超类的抽象方法时，不需要使用override关键字。但你使用override关键字也可以App内部帮我们实现了... 阅读全文

posted @ 2015-01-12 18:11 stark_summer 阅读(347) 评论(0) 推荐(0) 编辑

scala入门-05继承类(extends)的使用

摘要：在scala下的org.scala.clazz下创建ExtendsScala.scala创建Person类创建Student类并extends Person类调用Student类接下来我们使用override覆盖父类方法我们在override下字段执行结果：当子类想重写方法和属性的时候就使用ov... 阅读全文

posted @ 2015-01-12 17:40 stark_summer 阅读(330) 评论(0) 推荐(0) 编辑

scala入门-04类(class)的使用

摘要：在scala下创建一个包名为org.scala.clazz ，创建scala类名为OOPInScala.scala ，并增加objectOOPInScala(图片上包明有误，应该是org.scala.clazz)创建一个User类并增加name和age字段调用User类并执行private[thi... 阅读全文

posted @ 2015-01-12 15:38 stark_summer 阅读(1141) 评论(0) 推荐(0) 编辑

本人csdn、iteye、oschina等三个博客同时更新撰写文章，大家都可以看

摘要：本人csdn、iteye、oschina等三个博客同时更新撰写文章，大家都可以看但之前更多的经历还是在iteye上面写，但现在三个博客都同时撰写csdn：http://blog.csdn.net/stark_summeriteye：http://stark-summer.iteye.com/osch... 阅读全文

posted @ 2015-01-12 12:37 stark_summer 阅读(121) 评论(0) 推荐(0) 编辑

putty windows上传文件到linux服务器 & 从linux服务器下载文件到 windows

摘要：从putty官网下载putty软件：putty.exepscp.exepsftp.exe等软件也可以自己下windows安装包putty-0.63-installer.exe本人直接下载putty-0.63-installer.exe安装包了，然后直接安装使用pscp方式从windows上传文件到... 阅读全文

posted @ 2015-01-12 12:11 stark_summer 阅读(10680) 评论(0) 推荐(1) 编辑

2015年1月9日

scala入门-03基础知识->表达式

摘要：首先创建一个scala类ExpressionDemo.scala 并增加objectExpressionDemo和main方法if else判断语句：while 循环表达式：for循环表达式：如果你想在条件表达式中筛除来所有偶数，可以这样写 ... 阅读全文

posted @ 2015-01-09 18:21 stark_summer 阅读(111) 评论(0) 推荐(0) 编辑

scala入门-02基础知识->方法

摘要：首先在src下的main下的scala下创建一个包为org.scala.base创建一个scala类名称为HelloWorld.scla由于main方法要位于object对象中，所以我们创建一个object 名称为HelloWorld 并增加main方法和打印一行内容接下来我们在object对象中... 阅读全文

posted @ 2015-01-09 17:47 stark_summer 阅读(161) 评论(0) 推荐(0) 编辑

jetty命令行方式启动jetty-runner.jar 容器

posted @ 2015-01-09 14:09 stark_summer 阅读(469) 评论(0) 推荐(0) 编辑

2015年1月8日

本地开发spark代码上传spark集群服务并运行（基于spark官网文档）

摘要：打开IDEA 在src下的main下的scala下右击创建一个scala类名字为SimpleApp ,内容如下import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.sp... 阅读全文

posted @ 2015-01-08 18:48 stark_summer 阅读(540) 评论(0) 推荐(0) 编辑

2015年1月7日

Linux下查看进程和线程

摘要：在linux中查看线程数的三种方法1、top -H手册中说：-H : Threads toggle加上这个选项启动top，top一行显示一个线程。否则，它一行显示一个进程。2、ps xH手册中说：H Show threads as if they were processes这样可以查看所有存在的线... 阅读全文

posted @ 2015-01-07 14:11 stark_summer 阅读(657) 评论(0) 推荐(0) 编辑

2015年1月6日

scala入门-01-IDEA安装scala插件

摘要：由于本人一直使用IDEA开发Java项目，目前scala也可以使用IDEA开发，下载地址：http://www.jetbrains.com/idea/Community Edition FREE 和 Ultimate Edition Free 30-day trial都支撑scala开发，我使用的U... 阅读全文

posted @ 2015-01-06 20:50 stark_summer 阅读(264) 评论(0) 推荐(0) 编辑

spark-1.2.0 集群环境搭建

摘要： 1、下载scala2.11.4版本下载地址为：http://www.scala-lang.org/download/2.11.4.html，也可以使用wgethttp://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.2483... 阅读全文

posted @ 2015-01-06 15:16 stark_summer 阅读(225) 评论(0) 推荐(0) 编辑

2015年1月5日

ubuntu每次登陆都用root账号登陆

摘要： sudo -s 进入 root 用户权限模式vi /etc/lightdm/lightdm.conf[SeatDefaults]greeter-session=unity-greeteruser-session=Ubuntugreeter-show-manual-login=trueallow-gu... 阅读全文

posted @ 2015-01-05 19:16 stark_summer 阅读(211) 评论(0) 推荐(0) 编辑

hadoop2.6.0版本集群环境搭建

摘要：一、环境说明1、机器：一台物理机和一台虚拟机2、linux版本：[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK:[spark@S1PA11 ~]$ java -ve... 阅读全文

posted @ 2015-01-05 17:11 stark_summer 阅读(202) 评论(0) 推荐(0) 编辑

spark ssh配置

摘要：配置机器 hostnamevi /etc/hostname 增加S1PA11再执行# hostnameS1PA11 ---修改成功打开hosts文件并修改关联关系：127.0.0.1 localhost.localdomain localhost::1 localhost6.lo... 阅读全文

posted @ 2015-01-05 15:51 stark_summer 阅读(426) 评论(0) 推荐(0) 编辑

linux服务器怎么修改时区和时间

摘要： Linux 时钟分为系统时钟（System Clock）和硬件（Real Time Clock ，简称RTC ）时钟。系统时钟是指当前Linux Kernel中的时钟，而硬件时钟则是主板上由电池供电的时钟，这个硬件时钟可以在BIOS中进行设置。当Linux 启动时，硬件时钟会去读取系统时钟的设置，然... 阅读全文

posted @ 2015-01-05 13:15 stark_summer 阅读(2274) 评论(0) 推荐(0) 编辑

2015年1月4日

spark搭建环境涉及的linux命令（简单易用型（勿喷））

摘要：从一台服务器负责内容到另一台服务器：scp jdk-6u37-linux-x64.bin spark@10.126.45.56:/home/spark/opttar压缩和解压文件:压缩 tar -cvf java.tar.gz java/ 解压:tar -xvf java.tar.gz配置... 阅读全文

posted @ 2015-01-04 14:47 stark_summer 阅读(243) 评论(0) 推荐(0) 编辑

2014年12月29日

开源日志系统对比

摘要：由于本人要开发分布式日志系统，所以想整体下关于开源的日志系统1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）支持... 阅读全文

posted @ 2014-12-29 17:53 stark_summer 阅读(444) 评论(0) 推荐(0) 编辑

2014年12月26日

java线程池和队列分析

摘要： Java项目当想让程序异步操作的时候，首先考虑使用Java多线程，但有的时候我们总会在想是简单的extends Thread 、implements Runnable接口还是使用线程池呢？而大多开发者可能更会选择使用线程池，.减少了创建和销毁线程的次数，每个工作线程都可以被重复利用，可执行多个任务... 阅读全文

posted @ 2014-12-26 14:28 stark_summer 阅读(289) 评论(0) 推荐(0) 编辑

2014年12月24日

csdn博客从今天开始正式开启继续写博客模式

posted @ 2014-12-24 14:18 stark_summer 阅读(154) 评论(0) 推荐(0) 编辑

2012年9月14日

java.nio.BufferOverflowException 异常

摘要： Failure executing javac, but could not parse the error:2 编译器 (1.6.0_07) 中出现异常。如果在 Bug Parade 中没有找到该错误，请在 Java Dev3 eloper Connection (http://java.sun... 阅读全文

posted @ 2012-09-14 12:34 stark_summer 阅读(1569) 评论(0) 推荐(0) 编辑

2011年12月16日

HTTP Referer 有什么作用？

摘要：简言之，HTTP Referer 是 Header 的一部分。当浏览器向 Web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器籍此可以获得一些信息用于处理。比如从我主页上链接到一个朋友那里，他的服务器就能够从 HTTP Referer 中统计出每天有多少... 阅读全文

posted @ 2011-12-16 09:50 stark_summer 阅读(261) 评论(0) 推荐(0) 编辑

2011年12月15日

C:/WINDOWS/system32/drivers/etc/hosts 文件有什么作用

摘要： host 是一个没有扩展名的系统文件，可以用记事本等工具打开，其作用就是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”，当用户在浏览器中输入一个需要登录的网址时，系统会首先自动从Hosts文件中寻找对应的IP地址，一旦找到，系统会立即打开对应网页，如果没有找到，则系统再会将网址提交 D... 阅读全文

posted @ 2011-12-15 09:41 stark_summer 阅读(656) 评论(0) 推荐(0) 编辑

2011年11月13日

最新+最简单Oracle分页查询法

摘要：方法一：Sql代码select*from(selecta1.*,rownumrnfrom(select*fromemp)a1whererownum=6;方法二：Sql代码select*from(selecte.*,rownumrnfromempe)a1wherea1.rnbetween6and10... 阅读全文

posted @ 2011-11-13 21:04 stark_summer 阅读(309) 评论(0) 推荐(0) 编辑

公告