下士闻道

摘要： HDFS的概念 HDFS首先是文件系统（FileSystem，FS），尽管这个FS是基于OS原生的文件系统之上；而且这个文件系统是一个抽象概念，HDFS作为一个整体出现，对外（client）隐藏了其内部分分布式文件存储的细节。 HDFS的核心概念有三个，完美实现了对于内部复杂性的封装： 首先是数据块 阅读全文

摘要： HDFS的I/O主要是三个方面： 一致性 HDFS在一致性上面主要是通过校验和（checksum）来实现；从client发起写入的时候会校验一下文件内容，但是发生在pipeline的最后一个节点的时候。为什么没有在最早的一个节点来校验呢？因为在复制到后续节点的时候可能发生丢包导致异常情况；在最后一个 阅读全文

摘要： DataNode 下面的数据文件有两种类型，一种是数据块，一种是数据块的描述文件（元数据文件），后者文件后面带有.meta后缀； Version文件字段内容其实和NameNode里面涵义是一致的； 安全模式，是NameNode在load索引文件（fsimage+edits文件）的时候的状态，改状态下 阅读全文

摘要： 日志节点说明： Annotation：用于记录发生的事件； BinaryAnnotation：Binary其实是二元的寓意；key-value格式，在zipkin的log日志中代表附加信息。 Endpoint：代表当前主机信息，在Annotation里面的endpoint要注意，跨服务调用应该是源I 阅读全文

摘要： 不需要额外的工程支持，不需要硬盘中有tomcat之类的额外文件 Jetty的Debug：右键Debug as... Maven Builder Jetty相关的配置文件如下： Jetty调试的时候，发现第三方的jar包跟不进去（即使下载了源码）。需要在debug 配置里面的Enviroment添加一 阅读全文

摘要： java application的web工程名称就是工程名称；但是maven则不同，他的默认的website名称是在maven的pom文件里面的artifactId节点配置的值；例如: 那么请求的路径就是：http://locahost:8081/brave-webmvc4-example/... 阅读全文

摘要： 配置置代理了，发现还是不好用！无法抓包； 配置就是在firefox的“选项”，拉到最下面，就能够看到“网络代理”，点进去；手动代理里面输入Fiddler的代理信息（默认127.0.0.1:8888） 后来才发现是因为“No Proxy for"被我配置了127.0.0.1和localhost。而我想 阅读全文

摘要： 之前发现创建一个新项目之后，无法添加scala class 创建新项目 选择maven项目，然后选择simple或者quickstart； 进入项目后，在Project Structure里面，在global libraries面板中，删除已有的scala-sdk，然后再添加； 然后再工程中添加sc 阅读全文

摘要： scala中的main函数 java.lang.NoSuchMethodError: scala.tools.nsc.interpreter.ILoop.main 在Object对象中，需要添加main函数才能够右键，run CacheLoader 添加了spark-network-common依赖 阅读全文

摘要： 什么是spark,是一个分布式计算平台，或者说是分布式计算引擎，他的职责就是将指定的数据读入到各个node的内存中，然后计算。所以spark是具有泛化性质的，只要数据源是可读入的，读到内存里面之后，处理就和数据源没有关系了，你是HBASE，kudu,还是parquet都无所谓了。 什么是RDD，弹性 阅读全文