2016 年 10月随笔档案 - hadoop_dev

系统吞吐量（TPS）、用户并发量

摘要：PS：下面是性能测试的主要概念和计算公式，记录下：一．系统吞度量要素：一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TP 阅读全文

posted @ 2016-10-29 13:12 hadoop_dev 阅读(1322) 评论(0) 推荐(0) 编辑

Tomcat中JVM内存溢出及合理配置及maxThreads如何配置(转)

摘要：来源:http://www.tot.name/html/20150530/20150530102930.htm Tomcat本身不能直接在计算机上运行，需要依赖于硬件基础之上的操作系统和一个Java虚拟机。Tomcat的内存溢出本质就是JVM内存溢出，所以在本文开始时，应该先对Java JVM有关内阅读全文

posted @ 2016-10-28 11:08 hadoop_dev 阅读(8649) 评论(0) 推荐(1) 编辑

Linux查看物理CPU个数、核数、逻辑CPU个数

摘要：# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每个物理CPU中阅读全文

posted @ 2016-10-27 11:18 hadoop_dev 阅读(725) 评论(0) 推荐(0) 编辑

JVM调优总结 -Xms -Xmx -Xmn -Xss

摘要：java -Xmx3550m -Xms3550m -Xmn2g -Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM促使内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。-Xmn2g：设置年轻代大小为2G。整个阅读全文

posted @ 2016-10-26 15:11 hadoop_dev 阅读(365) 评论(0) 推荐(0) 编辑

tomcat配置详解/优化方案

摘要：Service.xml Server.xml配置文件用于对整个容器进行相关的配置。 <Server>元素：是整个配置文件的根元素。表示整个Catalina容器。属性：className：实现了org.apache.catalina.Server接口的类名，标准实现类是org.apache.cata 阅读全文

posted @ 2016-10-26 13:58 hadoop_dev 阅读(544) 评论(0) 推荐(0) 编辑

tomcat组成以及工作原理

摘要：1 - Tomcat Server的组成部分 1.1 - Server A Server element represents the entire Catalina servlet Container. (Singleton) 1.2 - Service A Service element rep 阅读全文

posted @ 2016-10-26 10:51 hadoop_dev 阅读(1510) 评论(0) 推荐(1) 编辑

Hadoop RPC机制的使用

摘要：一、RPC基础概念 1.1 RPC的基础概念 RPC，即Remote Procdure Call，中文名：远程过程调用；（1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。 RPC协议假定某些传输协议的存在阅读全文

posted @ 2016-10-25 19:06 hadoop_dev 阅读(581) 评论(0) 推荐(0) 编辑

RPC和Socket,RMI和RPC之间的关系

摘要：远程通信机制RPC与RMI的关系 http://blog.csdn.net/zolalad/article/details/25161133 1.RPC RPC（Remote Procedure Call Protocol）远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底阅读全文

posted @ 2016-10-25 17:31 hadoop_dev 阅读(4696) 评论(0) 推荐(0) 编辑

nginx负载均衡

摘要：1. 正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。正向代理还可以使用缓冲特性减少网络使用率。反向代理的典型用途是将防火墙后面的服务器提供给Internet用户访问。反向代理还可以为后端的多台服务器提供负载平衡，或为后端较慢的服务器提供缓冲服务。另外，反向代理还可以启阅读全文

posted @ 2016-10-24 15:47 hadoop_dev 阅读(511) 评论(0) 推荐(0) 编辑

使用nginx做负载均衡的session共享问题

摘要：查了一些资料，看了一些别人写的文档，总结如下，实现nginx session的共享PHP服务器有多台，用nginx做负载均衡，这样同一个IP访问同一个页面会被分配到不同的服务器上，如果session不同步的话，就会出现很多问题，比如说最常见的登录状态，下面提供了几种方式来解决session共享的问题阅读全文

posted @ 2016-10-24 15:05 hadoop_dev 阅读(454) 评论(0) 推荐(0) 编辑

nginx配置文件nginx.conf

posted @ 2016-10-21 16:12 hadoop_dev 阅读(459) 评论(0) 推荐(0) 编辑

RMI的概念

摘要：RMI(Remote Method Invocation)远程方法调用是一种计算机之间利用远程对象互相调用实现双方通讯的一种通讯机制。使用这种机制，某一台计算机上的对象可以调用另外一台计算机上的对象来获取远程数据。RMI是Enterprise JavaBeans的支柱，是建立分布式Java应用程序的阅读全文

posted @ 2016-10-21 15:06 hadoop_dev 阅读(611) 评论(0) 推荐(0) 编辑

LVS 三种工作模式原理、以及优缺点比较（转载）

摘要：原文地址：http://9ilinux.com/149.html 一、NAT模式（VS-NAT）原理：就是把客户端发来的数据包的IP头的目的地址，在负载均衡器上换成其中一台RS的IP地址，并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的原IP地址改为自己的IP，将阅读全文

posted @ 2016-10-20 19:41 hadoop_dev 阅读(398) 评论(0) 推荐(0) 编辑

CDN网络的原理

posted @ 2016-10-19 16:33 hadoop_dev 阅读(278) 评论(0) 推荐(0) 编辑

rsync+inotify实现实时同步案例--转

摘要：转自：http://chocolee.blog.51cto.com/8158455/1400596 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数阅读全文

posted @ 2016-10-13 11:31 hadoop_dev 阅读(282) 评论(0) 推荐(0) 编辑

Hbase系统架构

摘要：HBase 系统架构 HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。 HBase特性： 1 高可靠性 2 高效性 3 面向列 4 可伸阅读全文

posted @ 2016-10-11 19:56 hadoop_dev 阅读(412) 评论(0) 推荐(0) 编辑

【Hadoop】HDFS的运行原理

摘要：简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失阅读全文

posted @ 2016-10-11 19:11 hadoop_dev 阅读(231) 评论(0) 推荐(0) 编辑

ZOOKEEPER3.3.3源码分析(四)对LEADER选举过程分析的纠正

摘要：很抱歉,之前分析的zookeeper leader选举算法有误,特此更正说明. 那里面最大的错误在于,leader选举其实不是在大多数节点通过就能选举上的,这一点与传统的paxos算法不同,因为如果这样的话,就会出现数据丢失的情况.比如某台服务器其实有最多的数据量,按照规则而言应该是leader,但阅读全文

posted @ 2016-10-10 18:26 hadoop_dev 阅读(339) 评论(0) 推荐(0) 编辑

zookeeper源码分析二FASTLEADER选举算法

摘要：如何在zookeeper集群中选举出一个leader,zookeeper使用了三种算法,具体使用哪种算法,在配置文件中是可以配置的,对应的配置项是”electionAlg”,其中1对应的是LeaderElection算法,2对应的是AuthFastLeaderElection算法,3对应的是Fast 阅读全文

posted @ 2016-10-10 18:25 hadoop_dev 阅读(991) 评论(0) 推荐(0) 编辑

zookeeper源码分析三LEADER与FOLLOWER同步数据流程

摘要：根据二)中的分析,如果一台zookeeper服务器成为集群中的leader,那么一定是当前所有服务器中保存数据最多的服务器,所以在这台服务器成为leader之后,首先要做的事情就是与集群中的其它服务器(现在是follower)同步数据,保证大家的数据一致,这个过程完毕了才开始正式处理来自客户端的连接阅读全文

posted @ 2016-10-10 18:25 hadoop_dev 阅读(4082) 评论(1) 推荐(1) 编辑

zookeeper源码分析（一）工作原理

摘要：来自:http://www.codedump.info/?p=207 阅读zookeeper代码一段时间(注:是很长一段时间,断断续续得有半年了吧?)之后,我要开始将一些积累下来的东西写下来了,鉴于我的java是这个过程中现学的,难免有说的不对的地方,所以如果有的话,请指教. 阅读时参考的版本是3. 阅读全文

posted @ 2016-10-10 18:24 hadoop_dev 阅读(446) 评论(0) 推荐(0) 编辑

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

摘要：转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一阅读全文

posted @ 2016-10-10 16:29 hadoop_dev 阅读(328) 评论(0) 推荐(0) 编辑

构建高并发高可用的电商平台架构实践(转)

摘要：从各个角度总结了电商平台中的架构实践，由于时间仓促，定了个初稿，待补充完善，欢迎大家一起交流。转载请声明出处：http://blog.csdn.net/yangbutao/article/details/12242441 作者：杨步涛关注分布式架构、大数据、搜索、开源技术 QQ:30659136 阅读全文

posted @ 2016-10-07 20:19 hadoop_dev 阅读(1512) 评论(0) 推荐(1) 编辑

Zookeeper 初体验之——伪分布式安装（转）

摘要：原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来，现在已经成为了 Apache 的顶级项目。Zookeeper 阅读全文

posted @ 2016-10-01 18:16 hadoop_dev 阅读(525) 评论(0) 推荐(0) 编辑

分布式与集群的区别

摘要：更多资料来源:http://www.zhihu.com/question/20004877 小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系是集群。为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，阅读全文

posted @ 2016-10-01 16:14 hadoop_dev 阅读(305) 评论(0) 推荐(0) 编辑

java集群技术(转)

摘要：来源:http://blog.csdn.net/cdh1213/article/details/21443239 序言越来越多的关键应用运行在J2EE（Java 2, Enterprise Edition）中，这些诸如银行系统和账单处理系统需要高的可用性（High Availability, HA 阅读全文

posted @ 2016-10-01 15:51 hadoop_dev 阅读(5311) 评论(0) 推荐(0) 编辑

hadoop_dev

10 2016 档案

公告