山清水秀ysu

摘要： /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding co... 阅读全文

摘要： 6.5 memoryMode 阅读全文

摘要： 6.1 block存储体系 存储体系架构图 6.2 block 信息信息管理器 6.2.2 bock锁的实现 6.3 磁盘block管理 阅读全文

摘要： Linux 不同用户环境变量 修改所有用户的环境变量：/etc/profile文件 只修改root用户的环境变量：~/.bashrc文件 只修改某个非root用户的环境变量：/home/非root用户名/.bashrc文件 修改所有用户的环境变量：/etc/profile文件 只修改root用户的环 阅读全文

摘要： 阅读全文

摘要： ThreadSafeRpcEndpoint对消息的处理都是串行的，即前一条消息处理完才能接着处理下一条消息。ThreadSafeRpcEndpoint的继承体系如图5-3所示。 5.3.2 RPC端点引用RpcEndpointRef 3.Inbox的消息来源 MessageLoop线程的执行逻辑是不 阅读全文

摘要： addJar方法是做什么的呢？它用于将Jar文件添加到Driver的RPC环境中。 通过addJar和addFile可以将各种任务执行所依赖的文件添加到Driver的RPC环境中， •小结 伴生对象是Scala语言的语法特性。Scala中的伴生对象可以提供类似于Java中的静态方法、静态属性等的定义 阅读全文

摘要： 实现的HttpFileServer，但在Spark 2.0.0版本中它也被废弃了，现在使用的是基于Spark内置RPC框架的NettyStreamManager。节点间的Shuffle过程和Block数的复制与备份这两个部分在Spark 2.0.0版本中依然沿用了Netty，通过对接口和程序进行重新 阅读全文

摘要： 一般情况下,如果有些代码必须在项目启动的时候就执行的时候,需要使用静态代码块,这种代码是主动执行的;需要在项目启动的时候就初始化,在不创建对象的情况下,其他程序来调用的时候,需要使用静态方法,这种代码是被动执行的. 静态方法在类加载的时候 就已经加载 可以用类名直接调用 比如main方法就必须是静态 阅读全文

摘要： hbase性能调优 标签： hbase 性能调优 | 发表时间：2014-05-17 15:10 | 作者：无尘道长 分享到： 出处：http://www.iteye.com 分享到： 一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了 阅读全文