随笔 - 2228  文章 - 4  评论 - 371  阅读 - 1109万
03 2014 档案
jdbc三种常见用法
摘要:import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class JDBC_Test { // 创建静态全局变量 static Connection conn; static Statement st; public static void main(String[] args) { ... 阅读全文
posted @ 2014-03-31 08:43 duanxz 阅读(1573) 评论(0) 推荐(0) 编辑
SQL注入攻击的种类和防范手段
摘要:观察近来的一些安全事件及其后果,安全专家们已经得到一个结论,这些威胁主要是通过SQL注入造成的。虽然前面有许多文章讨论了SQL注入,但今天所讨论的内容也许可帮助你检查自己的服务器,并采取相应防范措施。 SQL注入攻击的种类 知彼知己,方可取胜。首先要清楚SQL注入攻击有哪些种类。 1.没有正确过滤转 阅读全文
posted @ 2014-03-31 08:23 duanxz 阅读(3038) 评论(0) 推荐(0) 编辑
SQL中的CASE WHEN用法
摘要:其语法如下:1)case vlaue when [compare-value]then reslut [when[compare-value]] then result ...] [else result] end(2)case when [condition] then result [when[condition]then result...][else result] end第一形式当value=compare-value时返回result第二形式当第一个为真值的condition出现时,返回该条件的结果,如果没有匹配的结果值,那么else后的结果将被返回,如果没有else部分,那么返回 阅读全文
posted @ 2014-03-30 22:39 duanxz 阅读(4214) 评论(0) 推荐(1) 编辑
Spring之2:HierarchicalBeanFactory接口
摘要:HierarchicalBeanFactory:HierarchicalBeanFactory继承BeanFactory并扩展使其支持层级结构。getParentBeanFactory()方法或者父级BeanFactory,containsLocalBean(String name)方法查看当前Be 阅读全文
posted @ 2014-03-30 22:37 duanxz 阅读(853) 评论(0) 推荐(0) 编辑
社交系统中用户好友关系数据库设计
摘要:基础分析第一步,有一张用户表,表内包含用户的基本信息,比如账号、姓名、性别等信息。这里用tb_user表示用户信息表。 ID 用户名1 张三2 李四3 王五4 赵六第二步,需要将用户与用户直接建立好友关系。这里有两种情况:单向好友关系、互为好友关系。 - 单向好友关系就是张三在李四的好友列表中,但李 阅读全文
posted @ 2014-03-30 22:29 duanxz 阅读(4804) 评论(0) 推荐(0) 编辑
分布式一致性协议之:Raft算法
摘要:一致性算法Raft详解 背景 熟悉或了解分布性系统的开发者都知道一致性算法的重要性,Paxos一致性算法从90年提出到现在已经有二十几年了,而Paxos流程太过于繁杂实现起来也比较复杂,可能也是以为过于复杂 现在我听说过比较出名使用到Paxos的也就只是Chubby、libpaxos,搜了下发现Ke 阅读全文
posted @ 2014-03-30 22:28 duanxz 阅读(2503) 评论(0) 推荐(0) 编辑
Spring之28:AliasRegistry&SimpleAliasRegistry
摘要:AliasRegistry接口定义了alias的基本操作。 package org.springframework.core; public interface AliasRegistry { //对指定的名称注册别名 void registerAlias(String name, String a 阅读全文
posted @ 2014-03-30 22:28 duanxz 阅读(876) 评论(0) 推荐(0) 编辑
聚集索引和非聚集索引(整理)
摘要:聚集索引 一种索引,该索引中键值的逻辑顺序决定了表中相应行的物理顺序。 聚集索引确定表中数据的物理顺序。聚集索引类似于电话簿,后者按姓氏排列数据。由于聚集索引规定数据在表中的物理存储顺序,因此一个表只能包含一个聚集索引。但该索引可以包含多个列(组合索引),就像电话簿按姓氏和名字进行组织一样。 聚集索引对于那些经常要搜索范围值的列特别有效。使用聚集索引找到包含第一个值的行后,便可以确保包含后续索引值的行在物理相邻。例如,如果应用程序执行 的一个查询经常检索某一日期范围内的记录,则使用聚集索引可以迅速找到包含开始日期的行,然后检索表中所有相邻的行,直到到达结束日期。这样有助于提... 阅读全文
posted @ 2014-03-30 20:59 duanxz 阅读(358) 评论(0) 推荐(0) 编辑
Spring之27:BeanDefinitionRegistry
摘要:关于BeanDefinition见《Spring之Ⅰ:BeanDefinition》 BeanDefinitionRegistry的类图: BeanDefinition 的注册接口,如 RootBeanDefinition 和 ChildBeanDefinition。它通常由 BeanFactori 阅读全文
posted @ 2014-03-30 18:57 duanxz 阅读(1133) 评论(0) 推荐(0) 编辑
javax.inject中@Inject、@Named、@Qualifier和@Provider用法
摘要:javax.inject 包 javax.inject 指定了获取对象的一种方法,该方法与构造器、工厂以及服务定位器(例如 JNDI))这些传统方法相比可以获得更好的可重用性、可测试性以及可维护性。此方法的处理过程就是大家熟知的依赖注入,它对于大多数应用是非常有价值的。 javax.inject包里 阅读全文
posted @ 2014-03-30 18:15 duanxz 阅读(4071) 评论(0) 推荐(0) 编辑
从Decorator,Adapter模式看Java的IO库
摘要:我想任何一本介绍模式的书在讲到Decorator模式的时候不能不提到它的实际应用--在Java/IO库里面的应用,>这本书也不例外,有点不一样的是,这本书在介绍的时候有个专题,是从两个模式来看Java/IO库,完这个专题后,个人感觉对Java/IO库有了全新的认识同时也加深了Decorator模式跟Adapter适配器模式的理解,现和大家分享下这个在我看来很伟大的成果,同时说明下,以下大部分文字跟图片是来自>这本书。 一.引子(概括地介绍Java的IO) 无论是哪种编程语言,输入跟输出都是重要的一部分,Java也不例外,而且Java将输入/输出的功能和使用范畴做了很大的扩充。它采用 阅读全文
posted @ 2014-03-30 17:24 duanxz 阅读(755) 评论(0) 推荐(0) 编辑
java设计模式—Adapter模式
摘要:1、核心意图:将一个类的接口转换成客户希望的另外一个接口,从而使得原本由于接口不兼容而不能一起工作的类可以一起工作。该模式的目标是通过一个代理(这里是Adapter),在原来的类(Adaptee)和客户(Client)之间进行协调,从而达到兼容的目的。其核心是解决一致性的问题。2、身边实例:在我们实际生活中也很容易看到这方面的例子,比如我们要和一个外国人打交道,例如韩国 人,如果我们没有学习过韩语,这个韩国人也没有学习过我们汉语,在这种情况下,我们之间是很难进行直接交流沟通。为了达到沟通的目的有两个方法:1)改造 这个韩国人,使其能够用汉语进行沟通;2)请一个翻译,在我们和这个韩国人之间进行语 阅读全文
posted @ 2014-03-30 15:40 duanxz 阅读(536) 评论(0) 推荐(0) 编辑
设计模式之Memento(备忘机制)
摘要:Memento备望录模式定义:memento是一个保存另外一个对象内部状态拷贝的对象.这样以后就可以将该对象恢复到原先保存的状态.Memento模式相对也比较好理解,我们看下列代码:public class Originator { public int number; public File file = null; public Originator(){} // 创建一个Memento public Memento getMemento(){ return new Memento(this); } // 恢复到原始值 public void setMemento(M... 阅读全文
posted @ 2014-03-30 15:37 duanxz 阅读(368) 评论(0) 推荐(0) 编辑
pattern目录
摘要:pattern目录 23种设计模式经典的设计模式有 23 种。随着编程语言的演进,一些设计模式(比如Singleton)也随之过时,甚至成了反模式,一些则被内置在编程语言中(比如Iterator),另外还有一些新的模式诞生(比如 Monostate)。它们又可以分为三大类:创建型、结构型、行为型。对 阅读全文
posted @ 2014-03-30 09:29 duanxz 阅读(203) 评论(0) 推荐(0) 编辑
结构型:代理模式 Vs 适配器模式 Vs 门面模式(外观模式)
摘要:先上UML图 代理模式: 适配器模式: 门面模式(外观模式): 打了例子……呃……举个比方 代理模式: 水浒街,西门庆看上潘金莲,想和她嘿咻嘿咻,但是自己有不能去找潘金莲去说,于是他找到了金牌代理人王婆,王婆就去找潘金莲,经过一番商谈,潘金莲终于答应了西门庆的请求。 适配器模式: 水浒街,西门庆看上 阅读全文
posted @ 2014-03-30 00:06 duanxz 阅读(1303) 评论(0) 推荐(0) 编辑
单例模式的破坏示例
摘要:1.反射破坏单例2.序列化破坏单例(克隆 扩展知识)3.注册式单例模式 方法1. 枚举式单例模式 方法2. 容器式单例4.线程单例实现ThreadLocal 1.反射破坏单例 大家有没有发现,上面介绍的单例模式的构造方法除了加上private 以外,没有做任何处理。如果我们使用反射来调用其构造方法, 阅读全文
posted @ 2014-03-28 10:34 duanxz 阅读(2044) 评论(0) 推荐(0) 编辑
jdk1.6新特性
摘要:1.Web服务元数据Java 里的Web服务元数据跟微软的方案基本没有语义上的区别,自从JDK5添加了元数据功能(Annotation)之后,SUN几乎重构了整个J2EE体 系, 由于变化很大,干脆将名字也重构为Java EE, Java EE(当前版本为5.0)将元数据纳入很多规范当中,这其中就包括Web Services的相关规范, 加入元数据之后的Web Services服务器端编程模型就跟上面看到的C#片断差不多了, 这显然比以前的JAX-RPC编程模型简单(当然, Axis的编程模型也很简单).这里要谈的Web服务元数据(JSR 181)只是Java Web 服务规范中的一个,它跟C 阅读全文
posted @ 2014-03-27 20:35 duanxz 阅读(505) 评论(0) 推荐(0) 编辑
Spring之25:SingletonBeanRegistry&DefaultSingletonBeanRegistry
摘要:此接口是针对Spring中的单例Bean设计的。提供了统一访问单例Bean的功能,BeanFactory可实现此接口以提供访问内部单例Bean的能力。 DefaultSingletonBeanRegistry实现类 共享bean实例的通用注册表,实现了SingletonBeanRegistry. 允 阅读全文
posted @ 2014-03-27 17:13 duanxz 阅读(781) 评论(0) 推荐(0) 编辑
spring容器扩展功能之一:spring加载ApplicationContext.xml的四种方式
摘要:容器加载Bean的常见两个类ApplicationContext和BeanFactory, 一、首先,看看spring中加载配置在xml中的Bean对象到容器 spring 中加载xml配置文件的方式,好像有4种, xml是最常见的spring 应用系统配置源。Spring中的几种容器都支持使用xm 阅读全文
posted @ 2014-03-27 16:59 duanxz 阅读(1309) 评论(0) 推荐(0) 编辑
MySQL Sending data导致查询很慢的问题详细分析
摘要:这两天帮忙定位一个MySQL查询很慢的问题,定位过程综合各种方法、理论、工具,很有代表性,分享给大家作为新年礼物:) 【问题现象】 使用sphinx支持倒排索引,但sphinx从mysql查询源数据的时候,查询的记录数才几万条,但查询的速度非常慢,大概要4~5分钟左右 【处理过程】 1)explai 阅读全文
posted @ 2014-03-27 16:48 duanxz 阅读(3577) 评论(0) 推荐(0) 编辑
三、使用maven创建scala工程(scala和java混一起)
摘要:本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行。最后,成功运行scala编写的spark程序。 刚开始我的eclipse+maven环境是配置好的。 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从 阅读全文
posted @ 2014-03-27 15:06 duanxz 阅读(9120) 评论(0) 推荐(0) 编辑
二、java 与 scala相互调用
摘要:介绍:scala 是简化的java,运行于jvm的脚步语言。Java和scala通过各自编译器编译过都是jvm能解析class文件。本文介绍java和scala如何互调 scala的源代码文件是以.scala为后缀的,编译后的文件class文件。 1.scala使用JDK的java类 用法:impo 阅读全文
posted @ 2014-03-27 11:33 duanxz 阅读(7862) 评论(0) 推荐(0) 编辑
Scala总结
摘要:Scala总结 概述 scala是一门以Java虚拟机(JVM)为目标运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。 scala是纯粹的面向对象的语言。java虽然是面向对象的语言,但是它不是纯粹的,因为java的基本数据类型不是类,并且在java中还有静态成员变量和静态方 阅读全文
posted @ 2014-03-27 09:07 duanxz 阅读(1344) 评论(0) 推荐(0) 编辑
二、Spark在Windows下的环境搭建
摘要:由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spark的安装,Hadoop的下载和配置。为了突出”From Scratch”的特点(都是标题没选好的缘故 阅读全文
posted @ 2014-03-26 18:21 duanxz 阅读(1990) 评论(0) 推荐(0) 编辑
CompletableFuture详解
摘要:背景 在JDK1.5已经提供了Future和Callable的实现,可以用于阻塞式获取结果,如果想要异步获取结果,通常都会以轮询的方式去获取结果,如下: //定义一个异步任务 Future<String> future = executor.submit(()->{ Thread.sleep(200 阅读全文
posted @ 2014-03-26 14:43 duanxz 阅读(4208) 评论(0) 推荐(0) 编辑
几种简单的负载均衡算法及其Java代码实现
摘要:什么是负载均衡 负载均衡,英文名称为Load Balance,指由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地回应客户的请求 阅读全文
posted @ 2014-03-26 14:07 duanxz 阅读(1174) 评论(0) 推荐(0) 编辑
thread-safe之3:SimpleDateFormat安全的时间格式化
摘要:想必大家对SimpleDateFormat并不陌生。SimpleDateFormat 是 Java 中一个非常常用的类,该类用来对日期字符串进行解析和格式化输出,但如果使用不小心会导致非常微妙和难以调试的问题,因为 DateFormat 和 SimpleDateFormat 类不都是线程安全的,在多 阅读全文
posted @ 2014-03-25 17:19 duanxz 阅读(1433) 评论(0) 推荐(0) 编辑
HTTP协议中的长连接和短连接(keep-alive状态)
摘要:什么是长连接 长连接还是短连接 相比于短连接,长连接更节省资源。如果每发送一条消息就要创建链路、发起握手认证、关闭链路释放资源,会损耗大量的系统资源。长连接只在首次创建时或者链路断连重连才创建链路,链路创建成果之后服务提供者和消费者会通过业务消息和心跳维系链路,实现多消息复用同一个链路节省资源。 H 阅读全文
posted @ 2014-03-25 16:45 duanxz 阅读(5526) 评论(0) 推荐(1) 编辑
JMeter使用jar进行压力测试
摘要:最近需要对改造的redis缓存接口做压力测试,使用了开源压力测试工具JMeter,分享一下自己的使用经验,希望能对需要进行压力测试的开发同学有所帮助。 JMeter介绍 JMeter是Apache软件基金会下的一款开源压力测试工具,官方网址是:http://jmeter.apache.org/。JM 阅读全文
posted @ 2014-03-25 16:02 duanxz 阅读(5444) 评论(2) 推荐(0) 编辑
MongoDB优化之三:如何排查MongoDB CPU利用率高的问题
摘要:遇到这个问题,99.9999% 的可能性是「用户使用上不合理导致」,本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题。 Step1: 分析数据库正在执行的请求 用户可以通过 Mongo Shell 连接,并执行 db.currentOp() 命令,能看到数据库当前正在执行的操 阅读全文
posted @ 2014-03-24 17:35 duanxz 阅读(982) 评论(0) 推荐(1) 编辑
MongoDB优化之二:常见优化方法2
摘要:连接池xml配置: <!-- mongodb访问实例工程类--> <mongo:mongo host="${mongo.location}" port="${mongo.port}"> <mongo:options connections-per-host="100" threads-allowed 阅读全文
posted @ 2014-03-24 16:31 duanxz 阅读(1520) 评论(0) 推荐(0) 编辑
微服务理论之二:面向微服务架构与传统架构、SOA对比,以及云化对比
摘要:一、Monolith 网上对Microservice进行介绍的文章常常以Monolith作为开头,我也不会例外。原因是,知道了Monolith的不便之后才能更容易地理解Microservice架构模式所具有的各种优点。 首先请回想一下我们所开发的服务是什么样子的。通常情况下,这个服务所对应的代码由多 阅读全文
posted @ 2014-03-20 16:00 duanxz 阅读(4425) 评论(0) 推荐(0) 编辑
方法区之三:运行时常量池==了解String类的intern()方法、常量池介绍、常量池从Perm-->Heap
摘要:字符串常量池从1.7以后,移到了heap中。(1.6在永久代,1.7以后移动到了heap中)。 一、intern()定义及使用 相信绝大多数的人不会去用String类的intern方法,打开String类的源码发现这是一个本地方法,定义如下: 文档告诉我们该方法返回一个字符串对象的内部化引用。关于n 阅读全文
posted @ 2014-03-20 15:59 duanxz 阅读(3435) 评论(0) 推荐(1) 编辑
SpringBoot自动化配置之二:自动配置(AutoConfigure)原理、EnableAutoConfiguration、condition
摘要:《Spring Bean基本管理--bean注入方式汇总》 《SpringBoot自动化配置之二:自动配置(AutoConfigure)原理、EnableAutoConfiguration、condition》 自动配置绝对算得上是Spring Boot的最大亮点,完美的展示了CoC约定优于配置;  阅读全文
posted @ 2014-03-20 15:58 duanxz 阅读(16026) 评论(0) 推荐(2) 编辑
Metaspace 之二--PermGen vs. Metaspace 运行时比较
摘要:PermGen vs. Metaspace 运行时比较 为了更好地理解Metaspace内存空间的运行时行为, 将进行以下几种场景的测试: 使用JDK1.7运行Java程序,监控并耗尽默认设定的85MB大小的PermGen内存空间。 使用JDK1.8运行Java程序,监控新Metaspace内存空间 阅读全文
posted @ 2014-03-20 15:54 duanxz 阅读(1363) 评论(0) 推荐(0) 编辑
MongoDB优化之一:常见优化方法
摘要:常用性能优化方案 创建索引 限定返回结果数 只查询使用到的字段 采用capped collection 采用Server Side Code Execution 使用Hint,强制使用索引 Hint 虽然MongoDB查询优化器一般工作的很不错,但是也可以使用hint()来强迫MongoDB使用一个 阅读全文
posted @ 2014-03-19 16:16 duanxz 阅读(2381) 评论(0) 推荐(1) 编辑
Spark Streaming之一:整体介绍
摘要:提到Spark Streaming,我们不得不说一下BDAS(Berkeley Data Analytics Stack),这个伯克利大学提出的关于数据分析的软件栈。从它的视角来看,目前的大数据处理可以分为如以下三个类型。 复杂的批量数据处理(batch data processing),通常的时间 阅读全文
posted @ 2014-03-19 15:25 duanxz 阅读(1218) 评论(0) 推荐(0) 编辑
Java中实现MongoDB自增主键ID
摘要:1.了解MongoDB的ObjectId MongoDB的文档固定是使用“_id”作为主键的,它可以是任何类型的,默认是个ObjectId对象(在Java中则表现为字符串),那么为什么MongoDB没有采用其他比较常规的做法(比如MySql的自增主键),而是采用了ObjectId的形式来实现?别着急 阅读全文
posted @ 2014-03-19 14:47 duanxz 阅读(6085) 评论(0) 推荐(2) 编辑
RDD之一:总体介绍
摘要:摘要 本文提出了分布式内存抽象的概念——弹性分布式数据集(RDD,Resilient Distributed Datasets),它具备像MapReduce等数据流模型的容错特性,并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效:一是迭代式算法,这在图应用和机 阅读全文
posted @ 2014-03-19 14:37 duanxz 阅读(2175) 评论(0) 推荐(0) 编辑
对一致性Hash算法,Java代码实现的深入研究
摘要:一致性Hash算法 关于一致性Hash算法,在我之前的博文中已经有多次提到了,MemCache超详细解读一文中”一致性Hash算法”部分,对于为什么要使用一致性Hash算法、一致性Hash算法的算法原理做了详细的解读。 算法的具体原理这里再次贴上: 先构造一个长度为232的整数环(这个环被称为一致性 阅读全文
posted @ 2014-03-18 14:20 duanxz 阅读(419) 评论(0) 推荐(0) 编辑
MongoDB 创建基础索引、组合索引、唯一索引以及优化
该文被密码保护。
posted @ 2014-03-18 09:13 duanxz 阅读(1915) 评论(0) 推荐(0) 编辑
mongo-查询
摘要:Java代码通过org.springframework.data.mongodb.core.MongoTemplate对MongoDB的CRUD的操作,如果要实现复杂的条件查询,需要通过Query类来实现。 一、Query类的使用说明 query查询语句的实现的方式有两种: 1.1、通过org.sp 阅读全文
posted @ 2014-03-18 09:08 duanxz 阅读(11591) 评论(0) 推荐(0) 编辑
MongoTemplate聚合操作
摘要:Aggregation简单来说,就是提供数据统计、分析、分类的方法,这与mapreduce有异曲同工之处,只不过mongodb做了更多的封装与优化,让数据操作更加便捷和易用。Aggregation操作,接收指定collection的数据集,通过计算后返回result数据;一个aggregation操 阅读全文
posted @ 2014-03-14 10:54 duanxz 阅读(14399) 评论(0) 推荐(0) 编辑
RESTLET开发实例(一)基于JAX-RS的REST服务
摘要:RESTLET介绍 Restlet项目为“建立REST概念与Java类之间的映射”提供了一个轻量级而全面的框架。它可用于实现任何种类的REST式系统,而不仅仅是REST式Web服务。 Restlet项目受到Servlet API、JSP(Java Server Pages)、HttpURLConne 阅读全文
posted @ 2014-03-12 15:47 duanxz 阅读(2177) 评论(0) 推荐(0) 编辑
Hashtable的实现原理
摘要:Hashtable 简介 和HashMap一样,Hashtable 也是一个散列表,它存储的内容是键值对(key-value)映射。Hashtable 继承于Dictionary,实现了Map、Cloneable、java.io.Serializable接口。Hashtable 的函数都是同步的,这 阅读全文
posted @ 2014-03-07 16:11 duanxz 阅读(1135) 评论(0) 推荐(0) 编辑
JAX-WS
摘要:JAX-WS(Java API for XML Web Services)规范是一组XML web services的JAVA API,JAX-WS允许开发者可以选择RPC-oriented或者message-oriented 来实现自己的web services。 在 JAX-WS中,一个远程调用 阅读全文
posted @ 2014-03-06 08:59 duanxz 阅读(665) 评论(0) 推荐(0) 编辑
JAX-RPC
摘要:JAX-RPC(基于可扩展标记语言XML的远程过程调用的Java应用程序接口)是Java Web服务开发包(WSDP)的应用程序接口(API),WSDP能使Java开发者在Web服务或其他的Web应用程序中包括远程过程调用(RPC)。JAX-RPC致力于要使应用程序或Web服务调用其他应用程序或We 阅读全文
posted @ 2014-03-05 14:16 duanxz 阅读(584) 评论(0) 推荐(0) 编辑
window下版本控制工具Git 客户端安装
摘要:安装使用 1.下载msysgit http://code.google.com/p/msysgit/ 2.下载tortoisegit客户端安装 http://code.google.com/p/tortoisegit/ 设置Git的安装路径: 转载Git说明: Git是什么 Git 在Wikiped 阅读全文
posted @ 2014-03-05 14:07 duanxz 阅读(373) 评论(0) 推荐(0) 编辑
demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis
摘要:基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基 阅读全文
posted @ 2014-03-05 12:55 duanxz 阅读(9480) 评论(0) 推荐(1) 编辑
demo1 spark streaming 接收 kafka 数据java代码WordCount示例
摘要:1. 首先启动zookeeper windows上的安装见zk 02之 Windows安装和使用zookeeper 启动后见: 2. 启动kafka windows的安装kafka见Windows上搭建Kafka运行环境,启动后如下图: 1. 首先启动zookeeper windows上的安装见zk 阅读全文
posted @ 2014-03-04 18:08 duanxz 阅读(1289) 评论(0) 推荐(0) 编辑
锁分类(独占锁、分拆锁、分离锁、分布式锁)
摘要:一、java内存模型 提到同步、锁,就必须提到Java的内存模型,为了提高程序的执行效率,java也吸收了传统应用程序的多级缓存体系。 在共享内存的多处理器体系架构中,每个处理器都拥有自己的缓存,并且定期地与主内存进行协调。在不同的处理器架构中提供了不同级别的缓存一致性(Cache Coherenc 阅读全文
posted @ 2014-03-03 15:59 duanxz 阅读(5618) 评论(0) 推荐(1) 编辑
Dubbo入门之一:实例1
摘要:原文地址:http://blog.csdn.net/ruishenh/article/details/23180707?utm_source=tuicool 1. 概述 Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案 主要核心部件 Remot 阅读全文
posted @ 2014-03-03 14:15 duanxz 阅读(2192) 评论(1) 推荐(0) 编辑
syslog之一:Linux syslog日志系统详解
摘要:目录: 《syslog之一:Linux syslog日志系统详解》 《syslog之二:syslog协议及rsyslog服务全解析》 《syslog之三:建立Windows下面的syslog日志服务器》 《Linux下dmesg命令处理故障和收集系统信息的7种用法》 一、syslog简介 syslo 阅读全文
posted @ 2014-03-03 13:21 duanxz 阅读(36095) 评论(0) 推荐(0) 编辑
JVM插码之四:Java动态代理机制的对比(JDK 和CGLIB,Javassist,ASM)
摘要:一、class文件简介及加载 Java编译器编译好Java文件之后,产生.class 文件在磁盘中。这种class文件是二进制文件,内容是只有JVM虚拟机能够识别的机器码。JVM虚拟机读取字节码文件,取出二进制数据,加载到内存中,解析.class 文件内的信息,生成对应的 Class对象: clas 阅读全文
posted @ 2014-03-03 08:39 duanxz 阅读(2359) 评论(0) 推荐(1) 编辑

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示