摘要：
#大标题##标题###小标题####子标题**粗体***斜体*>区块引用block reference* red* green+ red1- red11- green121. red2. green链接[github](https://github.com)`代码块public void main(... 阅读全文
摘要：
转自：http://www.iteye.com/topic/5876731. Sed简介sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着... 阅读全文
摘要：
介绍概述预备知识 网络分区和引导分区策略批量处理版本控制和兼容性协议 Protocol Primitive TypesNotes on reading the request format grammarsCommon Request and Response Structure RequestsR... 阅读全文
摘要：
Python标准库翻译地址：https://github.com/junfeihu/python-standard-library当前进度：os模块 阅读全文
摘要：
15. 通用操作系统服务本章所描述的模块提供了面向操作系统特性的接口，并且几乎适用于所有操作系统，如文件和时钟等。这些接口的模型基本是按照Unix或C语言接口来设计的，但它们也适用于其他操作系统。以下是总体概况： 15.1. os — 各种操作系统接口(Miscellaneous operating... 阅读全文
摘要：
译自：https://docs.python.org/2/library/index.html业余时间翻译，有时间有心情有思路有冲动就翻译，部分翻译为意译或替换为更容易理解的意思，水平特有限，仅供自己参考 格式有时间再调 7. 字符串服务7.1. string — 通用字符串操作7.2. re —... 阅读全文
摘要：
一、SparkContext初始化配置 1. 设置conf: SparkConf，每次获取配置时读取conf.clone()，避免运行时改变2. 检查spark.master/spark.app.name/spark.driver.host/spark.driver.port/spark.jars3. SparkEnv.create()设置环境1) 创建名称为"spark"的ActorSystem 2) 设置序列化类3) 注册各种Manager4. 设置各种变量，TODO二、创建并启动TaskScheduler和DAGScheduler个人浅见：DAGScheduler的作 阅读全文
摘要：
临时笔记defmain(argStrings:Array[String]){//读取以spark.开头的配置属性valconf=newSparkConf//检查环境变量：SPARK_MASTER_HOST、SPARK_MASTER_PORT、SPARK_MASTER_WEBUI_PORT//再检查配置属性：master.ui.port//检查其他master配置，如命令行属性valargs=newMasterArguments(argStrings,conf)//配置akka，创建sparkmasteractorval(actorSystem,_,_)=startSystemAndActor. 阅读全文
摘要：
1. 设置SCALA_VERSION2. 执行conf/spark-env.sh3. 设置CLASSPATH=4. 如果存在assembly/target/scala-$SCALA_VERSION/spark-assembly*hadoop*-deps.jar，则添加[core|repl|mllib|bagel|graphx|streaming]/target/scala-$SCALA_VERSION/classes:/assembly/target/scala-$SCALA_VERSION/spark-assembly*hadoop*-deps.jar如果不存在，则检测RELEASE目录，存 阅读全文
摘要：
1. 判断是否cygwin环境2. 设置SCALA_VERSION3. 设置SPARK_HOME4. 执行conf/spark-env.sh5. 如果运行类是org.apache.spark.deploy.master.Master或org.apache.spark.deploy.worker.Worker，设置SPARK_MEM=${SPARK_DAEMON_MEMORY:-512m}SPARK_DAEMON_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS -Dspark.akka.logLifecycleEvents=true"OUR_JAVA_O 阅读全文