摘要： 参考：http://my.oschina.net/ydsakyclguozi/blog/412240 一、logback的介绍 Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic... 阅读全文

摘要： 参考链接：http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-bolt/ CoordinatedBolt是非常关键的一个类，它用于协调系统中的Bolt节点。对于事务Topology中的Bolt节点，若能知道属于某一个事务的消息是否全部收到，这是非常有用的。 阅读全文

摘要： ITransactionalSpout 基本事务Topology的Spout接口，内含两部分接口：协调Spout接口以及消息发送Blot接口。 TransactionalSpoutBatchExecutor Bolt类型，用于执行ITransactionalSpout中的消息发送Bolt节点。 TransactionalSpoutCoordinator Spout类型，用于执行ITr... 阅读全文

摘要： 1、Types Thrift类型系统包括预定义基本类型，用户自定义结构体，容器类型，异常和服务定义 (1) 基本类型 bool: 布尔类型，占一个字节 byte: 有符号字节 i16：16位有符号整型 i32：32位有符号整型 i64：64位有符号整型 double：64位浮点数 string：未知编码或者二进制的字符串 注意：thrift不支持无符号整形，因为很多目标语言不存在无符号整形（比如j... 阅读全文

摘要： 一、Nimbus Nimbus既需要在Zookeeper中创建元数据，也需要从Zookeeper中获取元数据。 如上图箭头1所示： 1、对于路径a，Nimbus只会创建路径，不会设置数据，数据是稍后由Worker设置的。 2、对于路基b和c，Nimbus在创建她们的时候就会设置数据。 3、路径a和b只有在提交新的Topology时才会创建，且b中的数据设置好以后就不会再变化；c在第一... 阅读全文

摘要： 新建了一个kafka集群，在window下写了一个简单的producer做测试，结果遇到了消息发送失败的问题，代码如下： Properties props = new Properties(); props.put("metadata.broker.list", "192.168.1.107:6667"); props.put("serializer.... 阅读全文

摘要： 在Mesos和YARN中，都用到了dominant resource fairness算法(DRF)，它不同于hadoop基于slot-based实现的fair scheduler和capacity scheduler，论文阅读：Dominant Resource Fairness: Fair Allocation of Multiple Resource Types 。考虑在一个包括多... 阅读全文

摘要： 方案就是设置javadoc生成失败时不导致整个打包失败： 1 2 org.apache.maven.plugins 3 maven-javadoc-plugin 4 2.8 5 ... 阅读全文

摘要： 简介 "Swagger" 是一个规范和完整的框架，用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。总体目标是使客户端和文件系统作为服务器以同样的速度来更新。文件的方法，参数和模型紧密集成到服务器端的代码，允许API来始终保持同步。Swagger 让部署管理和使用功能强大的API... 阅读全文

摘要： 数据准备 1.收集数据 "UC Irvine Machine Learning Repository Concrete Compressive Strength Data Set " 把下载到的Concrete_Data.xls拷贝到R的工作目录,然后用Excel打开另存为concrete.cvs... 阅读全文

摘要： 学习聚类算法时，参考算法说明随手写的java实现，代码很简单，不多做说明啦，有需要的童鞋可以看看，自己也做个备录。http://files.cnblogs.com/files/yuananyun/%E8%81%9A%E7%B1%BB_DBCAN_Kmeans_Java.rar 阅读全文

摘要： 参考：http://cpjsjxy.iteye.com/blog/1587601Spring+Netty4实现的简单通信框架，支持Socket、HTTP、WebSocket_Text、WebSocket_Binary协议。代码简单明了，可以当作学习Netty的一个练手Demo，发布到此只是为了作为一... 阅读全文

摘要： Spark提供的JdbcRDD很不好用，没法指定命名参数，而且必须要提供两个Long类型的参数表示分区的范围，如果数据表没有long类型的字段或者不需要条件，那就不能用JdbcRDD了。这里我简单重写了一个GenericJdbcRDD，支持命名参数和分区，仅仅作为参考哦。 项目结构如下： GenericJdbcRDD.scala package yay.jdbc.rdd im... 阅读全文

摘要： 参考：http://dataknocker.github.io/2014/11/12/idea%E4%B8%8Adebug-spark-standalone/转载请注明来自：http://www.cnblogs.com/yuananyun/p/4265706.html研究Spark源码也有一段时间了... 阅读全文

摘要： 一、开篇 本博客来自：http://www.cnblogs.com/yuananyun/ final修饰符是Java中比较简单常用的修饰符，同时也是一个被”误解“较多的修饰符。对很多Java程序员来说，他们大都只是草草看了一下各种书本上的介绍，然后背下来，什么时候想起 来有这东西就用一下。对于何时使用final修饰符、使用final修饰符对程序有什么影响，这些其实他们并... 阅读全文

摘要： 一、static修饰的东东是属于这个类的，是所有的该类的实例共享的，因此它们的初始化先于实例对象的初始化。 二、Java中没有静态构造方法，但是有静态代码块。当类中同时存在静态代码块和静态成员变量声明语句时，它们谁先执行？ 答：按照类中定义的从上到下顺序，谁在前面谁先执行。 三、当类中同时存在非静态代码块和非静态成员变量声明语句时，它们谁先执行？ 答：按照类中定义的从上到下顺... 阅读全文

摘要： Spring是一个很好很强大的开源框架，它就像是一个容器，为我们提供了各种Bean组件和服务。对于MVC这部分而言，它里面实现了从Url请求映射控制器方法的逻辑处理，在我们平时的开发工作中并不需要太多的理会这个Url是怎么和控制器中的方法建立映射的，一切都由Spring MVC帮我们搞定了。 但是我今天在做SDK工程的时候，突然产生一个想法：能否把我项目中的所有Url和Method的映... 阅读全文

摘要： 本文主要描述了在java开发中对http或https请求进行监听的方法。浏览器端的监听总是简单，后台代码的监听就比较困难了。如果没有一种方式可以对请求的参数信息进行监听分析，那真是太痛苦了，因为你基本只能靠猜，而本文将助你脱离苦海…… 阅读全文

摘要： 首先说些题外话，很久没有写博客了，空间里面的大部分文章还是11年写的。那时候刚毕业就来到这家公司，参与到一个Asp.net MVC的项目开发中，这个项目是一个全新的项目，连项目开发框架都没有，亏得领导的信任，让我研究一个ＭＶＣ开发框架。那时候的我就像打了鸡血一样斗志高昂，努力奋斗了一个月后终于搭建了... 阅读全文

摘要： 今天新安装了ArcGIS Server9.3,然后发布了一个地图服务，结果浏览的时候提示： 谷歌度娘一番，好不容易找到一个可用的解决方法： 打开安装目录下 ArcGIS\DotNet\AddInstance.exe 。重新添加一个服务，我这里测试添加名为："ArcGISServer"，于是rest访问的URL变为 localhost/ArcGISServer/reset 啦，... 阅读全文