摘要：
在分布式集群系统的开发中，线程锁往往并不能支持全部场景的使用，必须引入新的技术方案分布式锁。 线程锁，进程锁，分布式锁 线程锁:大家都不陌生，主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时，那么在同一时刻至多仅有有一个线程在执行该段代码。当有多个线程访问同一对象的加锁方法/代码块时，同一时 阅读全文
摘要：
序:StreamId是storm中实现DAG有向无环图的重要一个特性,但是从实际生产环境来看，这个功能其实蛮影响生产环境的稳定性的，我们系统在迭代时会带来整体服务的不可用。 StreamId是storm中实现DAG有向无环图的重要一个特性，官方也提供对应的接口实现让开发者自己灵活化构造自己的ADG图 阅读全文
摘要：
背景:目前就职于国内最大的IT咨询公司，恰巧又是毕业季，所在部门招了20多个应届毕业生，本人要跟部门新人进行为期一个月的大数据入职培训，特此将整理的文档分享出来。 原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/7274361.html 微信：intsmaze 阅读全文
摘要：
市面上有一些初学者的误解，他们拿spark和hadoop比较时就会说，Spark是内存计算，内存计算是spark的特性。请问在计算机领域，mysql,redis,ssh框架等等他们不是内存计算吗?依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供cpu进行执行？所有 阅读全文
摘要：
根据TCP协议定义的3次握手断开连接规定,发起socket主动关闭的一方socket将进入TIME_WAIT状态,TIME_WAIT状态将持续2个MSL(Max Segment Lifetime),TIME_WAIT状态下的socket不能被回收使用. 具体现象是对于一个处理大量短连接的服务器,如果 阅读全文
摘要：
Storm 中的 tuple可以包含任何类型的对象。由于Storm 是一个分布式系统，所以在不同的任务之间传递消息时Storm必须知道怎样序列化、反序列化消息对象。 Storm 使用 Kryo库对对象进行序列化。Kryo 是一个灵活、快速的序列化库。Storm 默认支持基础类型、string、byt 阅读全文
摘要：
Redis提供的持久化机制： 1). RDB持久化：该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 2). AOF持久化:该机制将以日志的形式记录服务器所处理的每一个写操作，在Redis服务器启动之初会读取该文件来重新构建数据库，以保证启动后数据库中的数据是完整的。 3). 无持久化：我 阅读全文
摘要：
序：map客户端使用jdbc向数据库发送查询语句，将会拿到所有数据到map的客户端，安装jdbc的原理，数据全部缓存在内存中，但是内存没有出现爆掉情况，这是因为1.3以后，对jdbc进行了优化，改进jdbc内部原理，将数据写入磁盘存储了。 原文和作者一起讨论: http://www.cnblogs. 阅读全文
摘要：
摘要:mapreduce中执行reduce(KEYIN key, Iterable<VALUEIN> values, Context context)，调用一次reduce方法，迭代value集合时，发现key的值也是在不断变化的，这是因为key的地址在内部会随着value的迭代而不断变化。 序：我 阅读全文
摘要：
mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交job时决定，而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理。 FileInp 阅读全文