2015 年 11月随笔档案 - duanxz

Otter入门简介

摘要：一、Otter简介 1.1 otter是什么？ otter 译意：水獭，数据搬运工语言：纯java开发定位：基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。Ottter是由阿里开源的一个数据同步产品,它的最初的目的是为了解决阅读全文

posted @ 2015-11-30 23:36 duanxz 阅读(7936) 评论(0) 推荐(0) 编辑

redis connect time out /connection refused

摘要：出现redis的“Could not get a resource from the pool”真实原因目前有几种： 1、Caused by: redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeou 阅读全文

posted @ 2015-11-30 23:36 duanxz 阅读(2821) 评论(0) 推荐(0) 编辑

Canal入门

摘要：配置mysql 1、mysql开启binlog mysql默认没有开启binlog，修改mysql的my.cnf文件，添加如下配置，注意binlog-format必须为row，因为binlog如果为STATEMENT或者MIXED,则binlog中记录的是sql语句，不是具体的数据行，canal就无阅读全文

posted @ 2015-11-30 23:27 duanxz 阅读(2130) 评论(0) 推荐(0) 编辑

Keepalived原理与实战精讲

摘要：什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是保持在线了，也就是所谓的高可用或热备，用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生，那说到keepalived时不得不说的一个协议就是VRRP协议，可以说这个协议就是keep... 阅读全文

posted @ 2015-11-30 23:02 duanxz 阅读(635) 评论(0) 推荐(0) 编辑

keepalived+nginx实现双机热备

摘要：keepalived是一个类似于layer3, 4, 5 交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工... 阅读全文

posted @ 2015-11-30 23:01 duanxz 阅读(578) 评论(0) 推荐(0) 编辑

nginx日志定时切割脚本

摘要：1 日志管理 1.1 Nginx日志描述通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息；通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到很多有价值的信息。 1.2 Nginx日志格式打开nginx.conf配置阅读全文

posted @ 2015-11-30 22:55 duanxz 阅读(1150) 评论(0) 推荐(0) 编辑

Spring 3.1新特性之四：p命名空间设置注入(待补充)

摘要：https://www.ibm.com/developerworks/cn/java/j-lo-jparelated/ http://www.ibm.com/developerworks/cn/java/j-lo-jpasimpemap/ https://www.ibm.com/developerw 阅读全文

posted @ 2015-11-30 13:42 duanxz 阅读(1094) 评论(0) 推荐(0) 编辑

使用druid连接池的超时回收机制排查连接泄露问题

摘要：在工程中使用了druid连接池，运行一段时间后系统出现异常：Caused by: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is... 阅读全文

posted @ 2015-11-28 17:18 duanxz 阅读(6438) 评论(0) 推荐(0) 编辑

Flume NG 配置详解

摘要：配置设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。配置单个组件流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实... 阅读全文

posted @ 2015-11-28 14:37 duanxz 阅读(1020) 评论(0) 推荐(0) 编辑

linux下dns设置详解

摘要：DNS就是Domain Name System，它能够把形如www.21php.com这样的域名转换为211.152.50.35这样的IP地址;没有DNS，浏览21php.com这个网站时，就必须用211.152.50.35这么难记的数字来访问。提供DNS服务的就是DNS服务器。DNS服务器可以... 阅读全文

posted @ 2015-11-28 11:21 duanxz 阅读(4839) 评论(0) 推荐(0) 编辑

RPM包及其管理 rpm命令

摘要：一、什么是RPMRPM：RedHat Package Manager //红帽包管理如果Linux发行版本是redhat 、redflag 、centos 、fedora 、suse等或者衍生的版本，那么使用rpm进行软件管理最适合了。通过rpm可以来对软件进行安装、升级、查询、验证及卸载等。被rp 阅读全文

posted @ 2015-11-28 10:31 duanxz 阅读(2334) 评论(0) 推荐(0) 编辑

yum软件包管理器

摘要：Yum (Yellow dog Updater, Modified) 黄狗升级器是一个在 Fedora 中的字符前端软件包管理器。基于 RPM 包管理(介绍见RPM包及其管理)，能够从指定的服务器自动下载 RPM 包并且安装，可以处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安阅读全文

posted @ 2015-11-28 10:29 duanxz 阅读(1127) 评论(0) 推荐(0) 编辑

FLUME日志收集

摘要：一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三... 阅读全文

posted @ 2015-11-27 23:44 duanxz 阅读(1725) 评论(0) 推荐(0) 编辑

flume入门之一：flume 安装及测试

摘要：http://flume.apache.org/ flume下载：http://mirror.bit.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz flume安装：tar apache-flume-1.7.0-bin.tar.gz 修阅读全文

posted @ 2015-11-27 23:29 duanxz 阅读(1391) 评论(0) 推荐(0) 编辑

性能测试之开源的性能监控软件

摘要：对于系统和网络管理员来说每天监控和调试Linux系统的性能问题是一项繁重的工作。在IT领域作为一名Linux系统的管理员工作5年后，我逐渐认识到监控和保持系统启动并运行是多么的不容易。基于此原因，我们已编写了最常使用的18个命令行工具列表，这些工具将有助于每个Linux/Unix 系统管理员的工阅读全文

posted @ 2015-11-26 20:28 duanxz 阅读(3031) 评论(0) 推荐(0) 编辑

flume+kafka+storm+mysql架构设计

摘要：前段时间学习了storm，最近刚开blog，就把这些资料放上来供大家参考。这个框架用的组件基本都是最新稳定版本，flume-ng1.4+kafka0.8+storm0.9+mysql （项目是maven项目，需要改动mysql配置，提供两种topology：读取本地文件（用来本地测试）；读取服务器阅读全文

posted @ 2015-11-26 20:24 duanxz 阅读(1620) 评论(0) 推荐(0) 编辑

同步机制之--java之CountDownLatch闭锁

摘要：CountDownLatch闭锁 1、类介绍一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。用给定的计数初始化 CountDownLatch。CountDownLatch类是一个同步计数器,构造时传入int参数,该参数就是计数器的初始值，每调用一次countD 阅读全文

posted @ 2015-11-26 19:27 duanxz 阅读(811) 评论(0) 推荐(0) 编辑

linux 中/proc 详解

摘要：proc 文件系统在Linux中有额外的机制可以为内核和内核模块将信息发送给进程-- /proc 文件系统。最初设计的目的是允许更方便的对进程信息进行访问（因此得名），现在它被每一个有有趣的东西报告的内核使用，例如/proc/modules 有模块的列表/proc/meminfo 有内存使用的统计表... 阅读全文

posted @ 2015-11-17 10:50 duanxz 阅读(6611) 评论(0) 推荐(0) 编辑

架构师的职责都有哪些?

摘要：架构师这个角色在任何软件开发项目中都是最有挑战性的。1. 架构师的领导与决策能力首先，架构师是一位技术领导，这意味着架构师除了拥有专门的技能外，还必须拥有领导能力，领导能力也要能体现在组织中的职位上。从职位上来讲，架构师是项目中的技术领导，应该拥有进行技术决策的权威。不过，很多时候架构师和项目经理的阅读全文

posted @ 2015-11-15 18:58 duanxz 阅读(1873) 评论(0) 推荐(0) 编辑

java对象在内存中的结构（HotSpot虚拟机）

摘要：一、对象的内存布局 HotSpot虚拟机中，对象在内存中存储的布局可以分为三块区域：对象头（Header）、实例数据（Instance Data）和对齐填充（Padding）。 32位： 64位：从上面的这张图里面可以看出，对象在内存中的结构主要包含以下几个部分：对象头： Mark Word(标阅读全文

posted @ 2015-11-15 18:45 duanxz 阅读(19850) 评论(7) 推荐(7) 编辑

优化Java堆大小的5个技巧

摘要：本文作者Pierre是一名有10多年经验的高级系统架构师，他的主要专业领域是Java EE、中间件和JVM技术。根据他多年的工作实践经验，他发现许多性能问题都是由Java堆容量不足和调优引起的。下面他将和大家分享非常实用的5个Java堆优化技巧。1.JVM：对难以理解的东西产生恐惧感千万不要以为，通... 阅读全文

posted @ 2015-11-15 17:57 duanxz 阅读(993) 评论(0) 推荐(0) 编辑

JVM插庄之一：JVM字节码增强技术介绍及入门示例

摘要：字节码增强技术：AOP技术其实就是字节码增强技术，JVM提供的动态代理追根究底也是字节码增强技术。目的：在Java字节码生成之后，对其进行修改，增强其功能，这种方式相当于对应用程序的二进制文件进行修改。Java字节码增强主要是为了减少冗余代码，提高性能等。应用场景：某一天系统出现OOM，通过工具阅读全文

posted @ 2015-11-14 14:26 duanxz 阅读(3182) 评论(0) 推荐(0) 编辑

介绍一下海量数据的处理方法

摘要：适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的... 阅读全文

posted @ 2015-11-14 12:03 duanxz 阅读(372) 评论(0) 推荐(0) 编辑

如何进行软件系统架构设计?

摘要：基于体系架构的软件设计模型把软件过程划分为体系架构需求、设计、文档化、复审、实现和演化6个子过程，现逐一简要概述如下。1、体系架构需求。即将用户对软件系统功能、性能、界面、设计约束等方面的期望(即“需求”)进行获取、分析、加工，并将每一个需求项目抽象定义为构件(类的集合)。2、体系架构设计。即采用迭... 阅读全文

posted @ 2015-11-14 12:00 duanxz 阅读(1383) 评论(0) 推荐(1) 编辑

Java 架构师面试题

摘要：基础题目 Java线程的状态进程和线程的区别，进程间如何通讯，线程间如何通讯 HashMap的数据结构是什么？如何实现的。和HashTable，ConcurrentHashMap的区别 Cookie和Session的区别索引有什么用？如何建索引？ ArrayList是如何实现的，ArrayLis 阅读全文

posted @ 2015-11-14 11:53 duanxz 阅读(552) 评论(0) 推荐(0) 编辑

面试题1--java

该文被密码保护。

posted @ 2015-11-14 11:08 duanxz 阅读(76) 评论(0) 推荐(0) 编辑

互联网架构师必备技能

摘要：一、每个好架构师都是一位出色的程序员这一点毋庸置疑，如果不是写过N年代码的优秀程序员，一定不是好的架构师。“架构师”这是一个听上去比较虚的职位，它的主要价值在于“落地”的过程中，而不是“指点江山”。eBay的架构师总结架构师在项目中的职责： 1）产品团队要做一个产品，架构师要帮助团队把技术可行性，阅读全文

posted @ 2015-11-14 10:48 duanxz 阅读(826) 评论(0) 推荐(0) 编辑

JVM插庄之二：Java agent基础原理

摘要：javaagent 简介 Javaagent 只要作用在class被加载之前对其加载，插入我们需要添加的字节码。 Javaagent面向的是我们java程序员，而且agent都是用java编写的，不需要太多的c/c++编程基础，不过这篇文章里也会讲到JVMTIAgent(c实现的)，因为javaag 阅读全文

posted @ 2015-11-12 11:28 duanxz 阅读(5365) 评论(0) 推荐(0) 编辑

instanceof, isinstance,isAssignableFrom的区别

摘要：//获得监听器集合，遍历监听器，可支持同步和异步的广播事件 instanceof运算符只被用于对象引用变量，检查左边的被测试对象是不是右边类或接口的实例化。如果被测对象是null值，则测试结果总是false。形象地：自身实例或子类实例 instanceof 自身类返回true 例： St 阅读全文

posted @ 2015-11-12 11:21 duanxz 阅读(429) 评论(0) 推荐(0) 编辑

函数式编程思想

摘要：函数式编程思想 1、函数式编程简介背景函数式编程诞生于50多年前。现在越来越多的人开始接受并进行函数式编程的实践。不仅最古老的函数式语言 Lisp 重获青春，而且新的函数式语言层出不穷，比如 Erlang、clojure、Scala、F#等等。目前最当红的Objective-C, Python、阅读全文

posted @ 2015-11-12 11:18 duanxz 阅读(912) 评论(0) 推荐(0) 编辑

代码质量管控的四个阶段

摘要：背景本文讨论的代码质量指的是代码本身的质量，包括复杂度、重复率、代码风格等要素。代码是团队的共同财产，代码质量是团队技术水平和管理水平的直接体现。代码质量下降通常会自成因果，导致恶性循环：破窗效应：在烂代码上继续生产烂代码的心理负担小很多传染性：烂代码传递着一种不在意质量，只看业务成果的负面阅读全文

posted @ 2015-11-12 09:38 duanxz 阅读(1831) 评论(0) 推荐(0) 编辑

JVM插码之三：javaagent介绍及javassist介绍

摘要：本文介绍一下,当下比较基础但是使用场景却很多的一种技术,稍微偏底层点,就是字节码插庄技术了...,如果之前大家熟悉了asm,cglib以及javassit等技术,那么下面说的就很简单了...,因为下面要说的功能就是基于javassit实现的,接下来先从javaagent的原理说起,最后会结合一个完整阅读全文

posted @ 2015-11-12 09:06 duanxz 阅读(4208) 评论(0) 推荐(0) 编辑

MySQL中处理Null时要注意两大陷阱

摘要：MySQL数据库是一个基于结构化数据的开源数据库。SQL语句是MySQL数据库中核心语言。不过在MySQL数据库中执行SQL语句，需要小心两个陷阱。陷阱一：空值不一定为空空值是一个比较特殊的字段。在MySQL数据库中，在不同的情形下，空值往往代表不同的含义。这是MySQL数据库的一种特性。如... 阅读全文

posted @ 2015-11-11 09:55 duanxz 阅读(1381) 评论(0) 推荐(0) 编辑

影响Scala语言设计的因素列表

摘要：Scala语言设计概述 Scala的设计受许多编程语言和研究思想的影响。事实上，仅很少的Scala的特点是全新的；大多数都已经被以另外的形式用在其他语言中了。Scala的革新主要来源于它是如何构造并放在一起的。在这部分里，我们罗列了对Scala设计的主要影响。列表并不全——因为围绕着编程语言的设计有阅读全文

posted @ 2015-11-10 18:01 duanxz 阅读(283) 评论(0) 推荐(0) 编辑

mysql查询不区分大小写问题分析和解决

摘要：mysql查询默认是不区分大小写的如: mysql查询默认是不区分大小写的如: select * from some_table where str=‘abc'; select * from some_table where str='ABC'; 得到的结果是一样的，如果我们需要进行区分的话可以阅读全文

posted @ 2015-11-09 14:51 duanxz 阅读(2386) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论