2015 年 10月随笔档案 - duanxz

mysql基础之三：char与varchar区别，varchar(M)能存多少

摘要：char与varchar区别 char (13)长度固定，如'1234567890' 存储需要空间 10个字符; varchar(13) 可变长如'1234567890' 需要存储空间 11字符; 从上面可以看得出来char 长度是固定的，不管你存储的数据是多少他都会都固定的长度。而varcha 阅读全文

posted @ 2015-10-31 11:53 duanxz 阅读(2393) 评论(0) 推荐(0) 编辑

Springboot Actuator之三：spring boot健康检查对Redis的连接检查的调整

摘要：因为项目里面用到了redis集群，但并不是用spring boot的配置方式，启动后项目健康检查老是检查redis的时候状态为down，导致注册到eureka后项目状态也是down。问下能不能设置spring boot不检查 redis的健康状态而且，应用的控制台上也会输出如下：原因分析如提问阅读全文

posted @ 2015-10-31 11:45 duanxz 阅读(5723) 评论(0) 推荐(1) 编辑

nginx实现带参数目录域名重定向二级域名方法

摘要：本文章介绍了关于nginx实现带参数目录域名重定向二级域名方法，有需要学习的朋友可参考一下。下面的代码是基于nginx的子目录301到其他域名(URL)的规则。作用是例如访问http://www.php100.com/phper/php.html (有杠和没杠是不同的，下面的代码中可以看出来)，自阅读全文

posted @ 2015-10-29 00:07 duanxz 阅读(3098) 评论(0) 推荐(1) 编辑

Nginx正则表达式之匹配操作符详解

摘要：nginx可以在配置文件中对某些内置变量进行判断，从而实现某些功能。例如：防止rewrite、盗链、对静态资源设置缓存以及浏览器限制等等。由于nginx配置中有if指令，但是没有对应else指令，所以判断要分为匹配和不匹配。字符串表达式支持正则表达式，能设定大小写是否敏感。因此共有四个操作符，如下：... 阅读全文

posted @ 2015-10-29 00:06 duanxz 阅读(33671) 评论(0) 推荐(1) 编辑

微服务网关选型

摘要：网关的技术选型网关（API Gateway）的设计要素（高可用，安全）性能：API高可用，负载均衡，容错机制。安全：权限身份认证、脱敏，流量清洗，后端签名（保证全链路可信调用）,黑名单（非法调用的限制）。日志：日志记录（spainid,traceid）一旦涉及分布式，全链路跟踪必不可少。缓阅读全文

posted @ 2015-10-29 00:03 duanxz 阅读(1805) 评论(0) 推荐(0) 编辑

微服务API网关 vs. 传统企业级API网关

摘要：导读企业API网关是一个很成熟的工具，市场上的相关成熟产品也很多。但是，在对轻量级、快速响应要求很高的微服务架构下，传统企业级API网关作为企业的公共基础设施，又显得有些重了。在本文中，我们将讨论业务目标（生产率与管理）的不同是如何要求我们实现一种完全不同的API网关。在过去十年中，企业组织一直阅读全文

posted @ 2015-10-29 00:03 duanxz 阅读(885) 评论(0) 推荐(0) 编辑

API网关系统架构

摘要：什么是API网关 API网是一个反向路由：屏蔽内部细节，为调用者提供统一入口，接收所有调用者请求，通过路由机制转发到服务实例。API网关是一组“过滤器”集合：可以实现一系列与核心业务无关的横切面功能，如安全认证、限流熔断、日志监控。 API网关业务域：统一接入、安全防护、流量管控、协议转换 API网阅读全文

posted @ 2015-10-29 00:01 duanxz 阅读(3119) 评论(0) 推荐(0) 编辑

nginx利用proxy_cache来缓存文件

摘要：为什么要做web cache，我想大家最主要的是解决流量的压力。随着网站流量的提升，如果只是单台机器既处理静态文件，又处理动态脚本，显然效率很难上升，不能处理日益上涨的流量压力。与此同时某些网站的页面内容并不是经常变化，因此我们可以分两层架构来组织网站。前端web缓存+后端web服务器。前端web 阅读全文

posted @ 2015-10-29 00:00 duanxz 阅读(8899) 评论(1) 推荐(1) 编辑

nginx实现防盗链配置方法介绍

摘要：有些朋友觉得防盗链就是防止图片，其实有很多东西要进行防盗链了，下面我来介绍在nginx中实现防盗链配置方法有对图片防盗链与下载资源等。防盗链配置假设网站域名是 www.php100.com。编辑nginx.conf，在 www.php100.com 区域添加如下内容：以上的例子可以实现扩展名阅读全文

posted @ 2015-10-28 23:58 duanxz 阅读(395) 评论(0) 推荐(0) 编辑

HTTP/2 新特性总结

摘要：我在想了解HTTP/2的时候，查阅了很多资料，发现这篇很好，是外国的文章．我翻译过来，加入自己的一点理解． HTTP/2 更简单,高效,强大.它在传输层解决了以前我们HTTP1.x中一直存在的问题.使用它可以优化我们的应用.HTTP/2 的首要目标是通过完全的请求,响应多路复用,头部的压缩头部域来减阅读全文

posted @ 2015-10-28 23:58 duanxz 阅读(332) 评论(0) 推荐(1) 编辑

gRPC详解

摘要：gRPC是什么？ gRPC是什么可以用官网的一句话来概括 A high-performance, open-source universal RPC framework 所谓RPC(remote procedure call 远程过程调用)框架实际是提供了一套机制，使得应用程序之间可以进行通信，而且阅读全文

posted @ 2015-10-28 23:57 duanxz 阅读(953) 评论(0) 推荐(1) 编辑

dubbo、dubbox、motan、thrift、grpc等RPC框架比较及选型

摘要：概述前段时间项目要做服务化，所以我比较了现在流行的几大RPC框架的优缺点以及使用场景，最终结合本身项目的实际情况选择了使用dubbox作为rpc基础服务框架。下面就简单介绍一下RPC框架技术选型的过程。 RPC简述该系列文章将讲述以下RPC框架的helloword实例以及其实现原理简述，由于每一阅读全文

posted @ 2015-10-28 23:56 duanxz 阅读(3458) 评论(0) 推荐(0) 编辑

序列化、反序列化和transient关键字的作用

摘要：引言将 Java 对象序列化为二进制文件的 Java 序列化技术是 Java 系列技术中一个较为重要的技术点，在大部分情况下，开发人员只需要了解被序列化的类需要实现 Serializable 接口，使用 ObjectInputStream 和 ObjectOutputStream 进行对象的读写。阅读全文

posted @ 2015-10-28 23:56 duanxz 阅读(8808) 评论(0) 推荐(2) 编辑

web攻击之八：溢出攻击（nginx服务器防sql注入/溢出攻击/spam及禁User-agents）

摘要：一、什么是溢出攻击首先，溢出，通俗的讲就是意外数据的重新写入，就像装满了水的水桶，继续装水就会溢出，而溢出攻击就是，攻击者可以控制溢出的代码，如果程序的对象是内核级别的，如dll、sys文件等，就可以直接操控系统内核了其次，分类：按对象名加以区分：IIS溢出、SQL溢出等，就是按对象名来加以区阅读全文

posted @ 2015-10-28 23:55 duanxz 阅读(3997) 评论(0) 推荐(0) 编辑

crontab的安装及crontab命令介绍

摘要：前一天学习了 at 命令是针对仅运行一次的任务，循环运行的例行性计划任务，linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用阅读全文

posted @ 2015-10-28 23:54 duanxz 阅读(1546) 评论(0) 推荐(1) 编辑

开启Nginx的gzip压缩功能详解

摘要：默认情况下，Nginx的gzip压缩是关闭的， gzip压缩功能就是可以让你节省不少带宽，但是会增加服务器CPU的开销哦，Nginx默认只对text/html进行压缩，如果要对html之外的内容进行压缩传输，我们需要手动来调。开启gzip的指令如下：gzip on;gzip_http_versio... 阅读全文

posted @ 2015-10-28 23:53 duanxz 阅读(1859) 评论(0) 推荐(0) 编辑

nginx上传目录配置,禁止执行权限

摘要：我们经常会把网站的图片文件上传目录设置为只可上传文件但不能执行文件，就是要禁止执行权限，小编来给大家举一个上传目录配置,禁止执行权限方法，各位可参考。如果不让有执行权限最简单的办法代码如下复制代码location ~ ^/upload/.*.(php|php5)${deny all;}上面的方法满足... 阅读全文

posted @ 2015-10-28 23:52 duanxz 阅读(6032) 评论(0) 推荐(0) 编辑

nginx限制请求之四：目录进行IP限制

摘要：相关文章：《高可用服务设计之二：Rate limiting 限流与降级》《nginx限制请求之一：（ngx_http_limit_conn_module）模块》《nginx限制请求之二：（ngx_http_limit_req_module）模块》《nginx限制请求之三：Nginx+Lua+ 阅读全文

posted @ 2015-10-28 23:52 duanxz 阅读(2412) 评论(1) 推荐(1) 编辑

EhCache 分布式缓存/缓存集群

摘要：开发环境： System：Windows JavaEE Server：tomcat5.0.2.8、tomcat6 JavaSDK： jdk6+ IDE：eclipse、MyEclipse 6.6 开发依赖库： JDK6、 JavaEE5、ehcache-core-2.5.2.jar Email：ho 阅读全文

posted @ 2015-10-28 23:51 duanxz 阅读(3564) 评论(0) 推荐(1) 编辑

Nginx 反向代理、负载均衡、页面缓存、URL重写、读写分离及简单双机热备详解

摘要：大纲一、前言二、环境准备三、安装与配置Nginx (windows下nginx安装、配置与使用) 四、Nginx之反向代理五、Nginx之负载均衡 (负载均衡算法：nginx负载算法 upstream的五种分配方式) 六、Nginx之页面缓存 (nginx利用proxy_cache来缓存文件阅读全文

posted @ 2015-10-28 23:48 duanxz 阅读(2094) 评论(1) 推荐(1) 编辑

CDN模式介绍

摘要：CDN（content delivery network 或 content distribution network）模式专注于通过全球分布式缓存架构为经常访问的文件减少网络访问时的延迟。目标是加快交付应用程序内容给用户。内容是任何可以存储在一个文件，如图像、视频和文档。内容交付网络 (CDN... 阅读全文

posted @ 2015-10-28 23:32 duanxz 阅读(748) 评论(0) 推荐(1) 编辑

IT基础架构规划方案一(网络系统规划)

摘要：背景某集团经过多年的经营，公司业务和规模在不断发展，公司管理层和IT部门也认识到通过信息化手段可以更好地支撑公司业务运营、提高企业生产和管理效率。同时随着新建办公大楼、研发大楼和厂房的落成，IT部门也需要对整个集团的信息化和企业IT基础架构进行规划和建设。目前主要分为以下两部分：楼宇智能化规划和阅读全文

posted @ 2015-10-28 23:26 duanxz 阅读(3289) 评论(0) 推荐(2) 编辑

互联网数据库架构设计思路

摘要：一、58同城数据库架构设计思路（1）可用性设计解决思路：复制+冗余副作用：复制+冗余一定会引发一致性问题保证“读”高可用的方法：复制从库，冗余数据，如下图带来的问题：主从不一致解决方案：见下文保证“写”高可用的一般方法：双主模式，即复制主库（很多公司用单master，此时无法保证写的可用性），冗余... 阅读全文

posted @ 2015-10-28 23:16 duanxz 阅读(1100) 评论(0) 推荐(1) 编辑

企业服务总线Enterprise service bus介绍

摘要：企业服务总线(Enterprise service bus). 以往企业已经实现了很多服务, 构成了面向服务的架构,也就是我们常说的SOA. 服务的参与双方都必须建立1对1 的联系,让我们回顾一下SOA架构有哪些基本的要求：SOA在相对较粗的粒度上对应用服务或业务模块进行封装与重用；服务间保持松散耦... 阅读全文

posted @ 2015-10-28 23:14 duanxz 阅读(2789) 评论(0) 推荐(1) 编辑

curl 模拟 GET\POST 请求，以及 curl post 上传文件

摘要：curl 模拟 GET\POST 请求，以及 curl post 上传文件一般情况下，我们调试数据接口，都会使用一个 postman 的工具，但是这个工具还是有点大了。事实上，我们在调试一些小功能的时候，完全没有必要使用它。在命令行中，我们使用 curl 这个工具，完全可以满足我们轻量的调试要求。阅读全文

posted @ 2015-10-28 09:56 duanxz 阅读(1203) 评论(0) 推荐(0) 编辑

curl命令详解

摘要：可以看作命令行浏览器1、开启gzip请求curl -I http://www.sina.com.cn/ -H Accept-Encoding:gzip,defalte2、监控网页的响应时间curl -o /dev/null -s -w "time_connect: %{time_connect}\n... 阅读全文

posted @ 2015-10-28 09:53 duanxz 阅读(4300) 评论(0) 推荐(1) 编辑

微服务理论之七：微服务设计

该文被密码保护。

posted @ 2015-10-26 23:18 duanxz 阅读(10345) 评论(1) 推荐(0) 编辑

eclipse调试时增加jvm参数

摘要：下面的程中我们限制Java 堆的大小为20MB，不可扩展（将堆的最小值-Xms 参数与最大值-Xmx 参数设置为一样即可避免堆自动扩展），通过参数-XX:+HeapDumpOnOutOfMemoryError 可以让虚拟机在出现内存溢出异常时Dump 出当前的内存堆转储快照以便事后进行分析。参数设阅读全文

posted @ 2015-10-26 22:57 duanxz 阅读(2285) 评论(0) 推荐(0) 编辑

Java中的OutOfMemoryError的各种情况及解决和JVM内存结构

摘要：在JVM中内存一共有3种：Heap（堆内存），Non-Heap（非堆内存） [3]和Native（本地内存）。 [1] 堆内存是运行时分配所有类实例和数组的一块内存区域。非堆内存包含方法区和JVM内部处理或优化所需的内存，存放有类结构（如运行时常量池、字段及方法结构，以及方法和构造函数代码）。本地内阅读全文

posted @ 2015-10-22 16:22 duanxz 阅读(15385) 评论(0) 推荐(4) 编辑

十、jdk工具之Jdb命令(The Java Debugger)

摘要：目录一、jdk工具之jps（JVM Process Status Tools）命令使用二、jdk命令之javah命令(C Header and Stub File Generator) 三、jdk工具之jstack(Java Stack Trace) 四、jdk工具之jstat命令(Java V 阅读全文

posted @ 2015-10-22 15:35 duanxz 阅读(2256) 评论(0) 推荐(0) 编辑

web攻击之七：常见CDN回源问题总结

摘要：1. URL链接出现非法链接 (如 */./Play/show/id/349281 ); 2. CDN接收未知Referer处理失效(目前搜索引擎的状态码为499); 3. CDN抓取服务器 Cache-Control, Last-Modified(影响CDN的抓取) 4. CDN会同步缓存Cook 阅读全文

posted @ 2015-10-21 16:24 duanxz 阅读(2232) 评论(0) 推荐(0) 编辑

web攻击之六：DNS攻击原理与防范

摘要：随着网络的逐步普及，网络安全已成为INTERNET路上事实上的焦点，它关系着INTERNET的进一步发展和普及，甚至关系着INTERNET的生存。可喜的是我们那些互联网专家们并没有令广大INTERNET用户失望，网络安全技术也不断出现，使广大网民和企业有了更多的放心，下面就网络安全中的主要技术作一简阅读全文

posted @ 2015-10-21 16:14 duanxz 阅读(1878) 评论(0) 推荐(0) 编辑

web攻击之五：上传漏洞

摘要：【攻击】在图片上传的时候，攻击者上传非图片，而是可远程执行的的脚本，这时候，入侵者就可以远程的执行脚本来对服务器进行攻击【防御】 1、限制文件上传类型 2、使用第三方文件托管等阅读全文

posted @ 2015-10-21 16:13 duanxz 阅读(274) 评论(0) 推荐(0) 编辑

web攻击之四：DOS攻击

摘要：DDOS是DOS攻击中的一种方法。 DoS：是Denial of Service的简称，即拒绝服务，不是DOS操作系统，造成DoS的攻击行为被称为DoS攻击，其目的是使计算机或网络无法提供正常的服务。最常见的DoS攻击有计算机网络带宽攻击和连通性攻击。 DDOS：分布式拒绝服务(DDoS:Distr 阅读全文

posted @ 2015-10-21 16:13 duanxz 阅读(1086) 评论(0) 推荐(0) 编辑

web攻击之三：SQL注入攻击的种类和防范手段

摘要：观察近来的一些安全事件及其后果，安全专家们已经得到一个结论，这些威胁主要是通过SQL注入造成的。虽然前面有许多文章讨论了SQL注入，但今天所讨论的内容也许可帮助你检查自己的服务器，并采取相应防范措施。 SQL注入攻击的种类 1、内联 SQL 注入(Inline SQL Injection) 内联注入阅读全文

posted @ 2015-10-21 16:12 duanxz 阅读(2322) 评论(0) 推荐(0) 编辑

web攻击之二：CSRF跨站域请求伪造

摘要：CSRF是什么？（Cross Site Request Forgery, 跨站域请求伪造）是一种网络的攻击方式，它在 2007 年曾被列为互联网 20 大安全隐患之一,也被称为“One Click Attack”或者Session Riding，通常缩写为CSRF或者XSRF，是一种对网站的恶意利阅读全文

posted @ 2015-10-21 15:45 duanxz 阅读(1032) 评论(0) 推荐(0) 编辑

TCP洪水攻击（SYN Flood）的诊断和处理

摘要：目录：《TCP洪水攻击（SYN Flood）的诊断和处理》《TCP/IP协议中backlog参数》攻击原理： SYN Flood是当前最流行的DoS（拒绝服务攻击）与DDoS（分布式拒绝服务攻击）的方式之一，这是一种利用TCP协议缺陷，发送大量伪造的TCP连接请求，常用假冒的IP或IP号段发来阅读全文

posted @ 2015-10-21 15:12 duanxz 阅读(2063) 评论(0) 推荐(0) 编辑

DDoS攻防战（二）：CC攻击工具实现与防御理论--删除

摘要：我们将要实现一个进行应用层DDoS攻击的工具，综合考虑，CC攻击方式是最佳选择，并用bash shell脚本来快速实现并验证这一工具，并在最后，讨论如何防御来自应用层的DDoS攻击。第一步：获取大量可用代理ip:port列表网上所处可见免费代理，我们使用http的GET方法抓取html文档，接着阅读全文

posted @ 2015-10-21 15:11 duanxz 阅读(1553) 评论(0) 推荐(0) 编辑

DDoS攻防战（三）：ip黑白名单防火墙frdev的原理与实现

摘要：在上一篇文章《DDoS攻防战（二）：CC攻击工具实现与防御理论》中,笔者阐述了一个防御状态机，它可用来抵御来自应用层的DDoS攻击，但是该状态机依赖一个能应对大量条目快速增删的ip黑白名单防火墙，我们目前并没有发现很好的开源实现以供我们使用。·实现方案选择：硬件实现或者软件实现？在面对诸如大量畸形包... 阅读全文

posted @ 2015-10-21 15:11 duanxz 阅读(707) 评论(0) 推荐(0) 编辑

DDoS攻防战（一）：概述

摘要：原文出处：陶辉的博客欢迎分享原创到伯乐头条（此图摘自《Web脚本攻击与防御技术核心剖析》一书，作者：郝永清先生） DDoS,即 Distributed Denial of Service ,可译为分散式阻断服务攻击。上图与DDoS的字面已经清楚的表述出了此类攻击的原理，勿需多言。这类攻击泛滥阅读全文

posted @ 2015-10-21 15:10 duanxz 阅读(481) 评论(0) 推荐(0) 编辑

防范 DDoS 攻击的 15 个方法

摘要：为了对抗 DDoS(分布式拒绝服务)攻击，你需要对攻击时发生了什么有一个清楚的理解. 简单来讲，DDoS 攻击可以通过利用服务器上的漏洞，或者消耗服务器上的资源(例如内存、硬盘等等)来达到目的。DDoS 攻击主要要两大类: 带宽耗尽攻击和资源耗尽攻击. 为了有效遏制这两种类型的攻击，你可以按照下面阅读全文

posted @ 2015-10-21 15:06 duanxz 阅读(426) 评论(0) 推荐(0) 编辑

分布式拒绝服务攻击(DDoS)原理及防范

摘要：DDoS攻击概念 DoS的攻击方式有很多种，最基本的DoS攻击就是利用合理的服务请求来占用过多的服务资源，从而使合法用户无法得到服务的响应。 DDoS攻击手段是在传统的DoS攻击基础之上产生的一类攻击方式。单一的DoS攻击一般是采用一对一方式的，当攻击目标CPU速度低、内存小或者网络带宽小等等各项性阅读全文

posted @ 2015-10-21 14:58 duanxz 阅读(3122) 评论(0) 推荐(0) 编辑

web攻击之一：XSS跨站脚本

摘要：一、浏览器安全同源策略影响源的因素：host,子域名,端口,协议 a.com通过以下代码: 加载了b.com上的b.js，但是b.js是运行在a.com页面中的，因此相对于当前打开的页面(a.com)来说，b.js的源就应该是a.com而非b.com 不同于XMLHttpRequest的是，通过阅读全文

posted @ 2015-10-21 14:45 duanxz 阅读(3537) 评论(0) 推荐(0) 编辑

DOS攻击和DDOS攻击有啥区别啊

摘要：DDOS是DOS攻击中的一种方法。 DoS：是Denial of Service的简称，即拒绝服务，不是DOS操作系统，造成DoS的攻击行为被称为DoS攻击，其目的是使计算机或网络无法提供正常的服务。最常见的DoS攻击有计算机网络带宽攻击和连通性攻击。 DDOS：分布式拒绝服务(DDoS:Distr 阅读全文

posted @ 2015-10-21 10:49 duanxz 阅读(2499) 评论(0) 推荐(0) 编辑

Java Security(JCE基本概念)

摘要：Java Security网络环境中的安全隐患计算机安全OSI参考结构模型五类安全服务八类安全机制网络环境中的安全隐患1. 存储问题：移动存储设备存储数据没有加密存在的安全隐患2. 通信问题：用户聊天信息有可能被盗取3. B2C和B2B的交易问题：有可能被盗取用户名和密码信息4. 服务交互问题阅读全文

posted @ 2015-10-21 10:37 duanxz 阅读(1535) 评论(0) 推荐(0) 编辑

web攻击之零：WEB攻击及防御技术汇总

摘要：一、XSS攻击【介绍】 xss攻击是跨站脚本攻击，例如在表单中提交含有可执行的javascript的内容文本，如果服务器端没有过滤或转义这些脚本，而这些脚本由通过内容的形式发布到了页面上，这个时候如果有其他用户访问这个网页，那么浏览器就会执行这些脚本，从而被攻击，从而获取用户的cookie等信息。阅读全文

posted @ 2015-10-19 23:21 duanxz 阅读(750) 评论(0) 推荐(0) 编辑

Java内存泄露的理解与解决

摘要：Java内存管理机制在C++语言中，如果需要动态分配一块内存，程序员需要负责这块内存的整个生命周期。从申请分配、到使用、再到最后的释放。这样的过程非常灵活，但是却十分繁琐，程序员很容易由于疏忽而忘记释放内存，从而导致内存的泄露。Java语言对内存管理做了自己的优化，这就是垃圾回收机制。Java的几阅读全文

posted @ 2015-10-19 22:05 duanxz 阅读(658) 评论(0) 推荐(0) 编辑

Spring 3.1新特性之三：Spring对声明式缓存的支持

摘要：一、概述: Spring 3.1 引入了激动人心的基于注释（annotation）的缓存（cache）技术，它本质上不是一个具体的缓存实现方案（例如EHCache 或者 OSCache），而是一个对缓存使用的抽象，通过在既有代码中添加少量它定义的各种 annotation，即能够达到缓存方法的返回对阅读全文

posted @ 2015-10-19 21:45 duanxz 阅读(876) 评论(0) 推荐(0) 编辑

五、jdk工具之jmap（java memory map）、 mat之四--结合mat对内存泄露的分析、jhat之二--结合jmap生成的dump结果在浏览器上展示

摘要：目录一、jdk工具之jps（JVM Process Status Tools）命令使用二、jdk命令之javah命令(C Header and Stub File Generator) 三、jdk工具之jstack(Java Stack Trace) 四、jdk工具之jstat命令(Java V 阅读全文

posted @ 2015-10-18 22:11 duanxz 阅读(8801) 评论(0) 推荐(1) 编辑

JVM参数之-XX:+HeapDumpOnOutOfMemoryError（导出内存溢出的堆信息(hprof文件)）

摘要：当出现HeapDumpOnOutOfMemoryError错误时，我们需要分析原因，下面的程序就是模拟这个错误并导出dump文件，好让你分析 GcTest.java 这个文件在桌面上，所以执行编译：执行 GcTest.bat：结果如下： gc.hprof文件用内存分析工具分析如mat打开分析阅读全文

posted @ 2015-10-18 22:02 duanxz 阅读(32866) 评论(0) 推荐(1) 编辑

jvm调优之四：生产环境参数实例及分析【生产环境实例增加中】

摘要：java application项目（非web项目）改进前： -Xms128m-Xmx128m-XX:NewSize=64m-XX:PermSize=64m-XX:+UseConcMarkSweepGC-XX:CMSInitiatingOccupancyFraction=78-XX:ThreadS 阅读全文

posted @ 2015-10-18 22:01 duanxz 阅读(2361) 评论(0) 推荐(0) 编辑

Linux中用stat命令查看文件时3个时间点解析

摘要：有些时候，我们需要在Linux中使用stat命令来查看文件的详细信息。另外联想下，ls -l命令显示的是什么时间，touch命令修改文件的时间戳，修改的又是什么时间？在这里我们一起来试验下。首先，我们来看下stat情况: 如图所示，会出现3个类型的时间，分别是Access，Modify，Chang 阅读全文

posted @ 2015-10-15 17:36 duanxz 阅读(1671) 评论(0) 推荐(0) 编辑

head 命令

摘要：head与tail就像它的名字一样的浅显易懂，它是用来显示开头或结尾某个数量的文字区块，head用来显示档案的开头至标准输出中，而tail想当然尔就是看档案的结尾。1．命令格式：head[参数]...[文件]...2．命令功能：head用来显示档案的开头至标准输出中，默认head命令打印其相应文件的... 阅读全文

posted @ 2015-10-15 17:28 duanxz 阅读(1369) 评论(0) 推荐(0) 编辑

wc命令--Linux统计文件行数

摘要：语法：wc [选项] 文件… 说明：该命令统计给定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所有指定文件的总统计数。字是由空格字符区分开的最大字符串。该命令各选项含义如下： - c 统计字节数。 - l 统计行数。 - w 统计字数。这些选项可以组合使用。阅读全文

posted @ 2015-10-15 16:55 duanxz 阅读(1955) 评论(0) 推荐(0) 编辑

Hadoop安装全教程 Ubuntu14.04+Java1.8.0+Hadoop2.7.6

摘要：最近听了一个关于大数据的大牛的经验分享，在分享的最后大牛给我们一个他之前写好的关于大数据和地理应用demo。这个demo需要在Linux环境上搭建Hadoop平台。这次就简单的分享一下我关于在 Linux虚拟机上搭建Hadoop平台的一些经验和遇到的一些问题以及问题的解决办法。首先我们这次搭建的环阅读全文

posted @ 2015-10-15 16:41 duanxz 阅读(700) 评论(0) 推荐(0) 编辑

Linux进程内存分析pmap命令

摘要：名称： pmap - report memory map of a process(查看进程的内存映像信息) 用法 pmap [ -x | -d ] [ -q ] pids... pmap -V 选项含义 -x extended Show the extended format. 显示扩展格式 -d 阅读全文

posted @ 2015-10-15 16:22 duanxz 阅读(2935) 评论(0) 推荐(0) 编辑

Linux free -m 详细说明

摘要：Linux是如何管理内存的在Linux里（别的系统也差不多），内存有物理内存和虚拟内存之说，物理内存是什么自然无需解释，虚拟内存实际是物理内存的抽象，多数情况下，出于方便性的考虑，程序访问的都是虚拟内存地址，然后操作系统会把它翻译成物理内存地址。很多人会把虚拟内存和Swap混为一谈，实际上Swa 阅读全文

posted @ 2015-10-15 16:08 duanxz 阅读(5283) 评论(0) 推荐(0) 编辑

top命令 Linux查看CPU和内存使用情况,cpu监控之一

摘要：一、top命令 top命令是一个功能十分强大的监控系统的工具，对于系统管理员而言尤其重要。但是，它的缺点是会消耗很多系统资源。在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。运行 top 阅读全文

posted @ 2015-10-15 16:08 duanxz 阅读(4817) 评论(0) 推荐(0) 编辑

Java的自动装箱与拆箱(Autoboxing and unboxing)

摘要：一、什么是自动装箱拆箱很简单，下面两句代码就可以看到装箱和拆箱过程 //自动装箱 Integer total = 99; //自动拆箱 int totalprim = total; 简单一点说，装箱就是自动将基本数据类型转换为包装器类型；拆箱就是自动将包装器类型转换为基本数据类型。下面我们来看看阅读全文

posted @ 2015-10-15 09:32 duanxz 阅读(1372) 评论(0) 推荐(0) 编辑

linux awk命令详解

摘要：简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk 阅读全文

posted @ 2015-10-14 15:31 duanxz 阅读(618) 评论(0) 推荐(0) 编辑

spring TaskExecutor

摘要：TaskExecutor抽象Spring 2.0 为执行器(Executor)处理引入了一个新的抽象层。Executor是Java 5的名词，用来表示线程池的概念。之所以用这个奇怪的名词，是因为实际上不能保证底层实现的确是一个池。实际上，很多情况下，executor只是单线程。Spring的抽象层帮... 阅读全文

posted @ 2015-10-14 12:00 duanxz 阅读(2385) 评论(0) 推荐(0) 编辑

Spring的@Scheduled任务调度

摘要：一. 定时任务实现方式定时任务实现方式： Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务。使用这种方式可以让你的程序按照某一个频度执行，但不能在指定时间运行。一般用的较少，这篇文章将不做详细介绍。使用Quartz，这是一个功能比较强阅读全文

posted @ 2015-10-14 10:15 duanxz 阅读(6243) 评论(1) 推荐(0) 编辑

Spring 3.1新特性之二：@Enable*注解的源码,spring源码分析之定时任务Scheduled注解

摘要：分析SpringBoot的自动化配置原理的时候，可以观察下这些@Enable*注解的源码，可以发现所有的注解都有一个@Import注解。@Import注解是用来导入配置类的，这也就是说这些自动开启的实现其实是导入了一些自动配置的Bean。如：freemarker的自动化配置类FreeMarkerA 阅读全文

posted @ 2015-10-13 17:00 duanxz 阅读(5503) 评论(0) 推荐(2) 编辑

@EnableWebMvc

摘要：1、启用MVC Java config 或 MVC XML namespace 想要启用MVC Java config，只需要将@EnableWebMvc添加到你的一个@Configuration class即可。或者在XML中，需要在你的DispatcherServlet context （或你阅读全文

posted @ 2015-10-13 16:59 duanxz 阅读(30696) 评论(0) 推荐(5) 编辑

SpringMVC 全注解实现 (1) servlet3.0以上的容器支持

摘要：一、 Spring MVC入门 1.1 request的处理过程用户每次点击浏览器界面的一个按钮，都发出一个web请求（request）。一个web请求的工作就像一个快递员，负责将信息从一个地方运送到另一个地方。从web请求离开浏览器（1）到返回响应，中间经历了几个节点，在每个节点都进行一些操作阅读全文

posted @ 2015-10-13 16:54 duanxz 阅读(994) 评论(0) 推荐(0) 编辑

Spring 源码解析之DispatcherServlet源码解析(五)

摘要：spring的整个请求流程都是围绕着DispatcherServlet进行的类结构图根据类的结构来说DispatcherServlet本身也是继承了HttpServlet的，所有的请求都是根据这一个Servlet来进行转发的,同时解释了为什么需要在web.xml进行如下配置，因为Spring是基阅读全文

posted @ 2015-10-13 16:50 duanxz 阅读(726) 评论(0) 推荐(1) 编辑

RandomAcessFile、MappedByteBuffer和缓冲读/写文件

摘要：项目需要进行大文件的读写，调查测试的结果使我决定使用MappedByteBuffer及相关类进行文件的操作，效果不是一般的高。网上参考资源很多，如下两篇非常不错：1、花1K内存实现高效I/O的RandomAccessFile类2、Java中Stream和Memory-mapped File的I/O性... 阅读全文

posted @ 2015-10-13 16:26 duanxz 阅读(3558) 评论(0) 推荐(0) 编辑

Java读写大文本文件（2GB以上）

摘要：如下的程序，将一个行数为fileLines的文本文件平均分为splitNum个小文本文件，其中换行符'r'是linux上的，windows的java换行符是'\r\n'：package kddcup2012.task2.FileSystem; import java.io.BufferedIn... 阅读全文

posted @ 2015-10-13 15:17 duanxz 阅读(54422) 评论(0) 推荐(3) 编辑

eclipse插件explorer安装使用

摘要：我们知道myeclipse有个open in explorer的按钮.可以方便我们打开任意IDC下的文件或则插件目录但是eclipse下确没有。因此需要下载下载个eclipse explorer插件。国人的也有诸如quickview，easylook等类似插件。第一种方式,就是在eclipse的ma... 阅读全文

posted @ 2015-10-13 13:56 duanxz 阅读(600) 评论(0) 推荐(0) 编辑

FastJson只序列化java对象的部分属性

摘要：如果我们想要将实体类中的某个字段或某几个不进行解析呢？那么我们可以使用transient 关键字，来标记它为不需要的，在fastjson中还提供了一种便捷的方法来自定义我们需要序列化的字段，这样就只会序列化 id和age 的字段。阅读全文

posted @ 2015-10-12 11:12 duanxz 阅读(7555) 评论(0) 推荐(0) 编辑

研究车联网的大数据更有意义

摘要：随着互联网的不断发展，大数据正在成为一股热潮，且业界对大数据的讨论已达到一个前所未有的高峰。车联网作为移动互联网大背景下诞生的一个产物，不管是车辆的接入、服务内容的选择还是服务的精准性，都离不开大数据。车辆上传的每一组数据都带有位置信息和时间，并且很容易形成海量数据。一方面，如果说大数据的特征是完整... 阅读全文

posted @ 2015-10-10 09:55 duanxz 阅读(1219) 评论(0) 推荐(0) 编辑

数据建模及常见分类算法

摘要：数据建模指的是对现实世界各类数据的抽象组织，建立一个适合的模型对数据进行处理。建模数据的抽取，清洗和加工以及建模算法的训练和优化会涉及大量的计算机语言和技术。比如：数据查询语言SQL；数据环境Hadoop和Spark；数据操作系统Linux；数据分析软件R、Python、SAS、Matlab等。阅读全文

posted @ 2015-10-09 16:57 duanxz 阅读(3533) 评论(0) 推荐(0) 编辑

大数据建模五步法

摘要：from：https://www.sohu.com/a/198093510_783844 前一阵子，某网络公司发起了一个什么建模大赛，有个学员问我，数据建模怎么搞？为了满足他的好学精神，我决定写这一篇文章，来描述一下数据分析必须要掌握的技能：数据建模。本文将尝试来梳理一下数据建模的步骤，以及每一阅读全文

posted @ 2015-10-09 09:00 duanxz 阅读(4146) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论