vivianC

摘要： ZeroMQ是一个很有个性的项目，它原来是定位为“史上最快消息队列”，所以名字里面有“MQ”两个字母，但是后来逐渐演变发展，慢慢淡化了消息队列的身影，改称为消息内核，或者消息层了。从网络通信的角度看，它处于会话层之上，应用层之下，有了它，你甚至不需要自己写一行的socket函数调用就能完成复杂的网络通信工作。借用官方的例子：客户端（发送N个“Hello”消息到服务端，接受回应）：12345678910111213141516171819202122232425262728293031323334353637//// Hello World client// Connects REQ socke 阅读全文

摘要： 在需要并行化处理数据的时候，采用消息队列通讯的方式来协作，比采用共享状态的方式要好的多。Erlang ，Go 都使用这一手段来让并行任务之间协同工作。最近读完了ZeroMQ的Guide。写的很不错。前几年一直有做类似的工作，但是自己总结的不好。而 ZeroMQ 把消息通讯方面的模式总结的很不错。ZeroMQ 并不是一个对 socket 的封装，不能用它去实现已有的网络协议。它有自己的模式，不同于更底层的点对点通讯模式。它有比 tcp 协议更高一级的协议。（当然 ZeroMQ 不一定基于 TCP 协议，它也可以用于进程间和进程内通讯。）它改变了通讯都基于一对一的连接这个假设。ZeroMQ 把通讯 阅读全文

摘要： Apache 的开源项目 hadoop， 作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题， Apache 同样提出了相应的解决方案，那就是 chukwa。概述chukwa 的官方网站是这样描述自己的： chukwa 是一个开源的用于监控大型分布式系统的数据收集系统。这是构建在 hadoop 的 hdfs 和 map/reduce 框架之上的，继承了 hadoop 的可伸缩性和鲁棒性。Chukwa 还包含了一个强大和灵活的工具 阅读全文

摘要： Chukwa 是什么？ 在印度神话中Chukwa是一只最古老的龟。它支撑着世界。在它的背上还支撑着一种叫做Maha-Pudma的大象，在大象的背上顶着这个地球。呵呵，大象？Hadoop？不难理解为什么在Hadoop中的这个子项目叫做Chukwa了，或许Chukwa的其中一位开发者是印度人？呵呵，我瞎猜的，神话中的Chukwa的，貌似是这样的，如图所示：Chukwa是由Yahoo贡献，基于Hadoop的大集群监控系统，可以用他来分析和收集系统中的数据(日志)。Chukwa运行HDFS中存储数据的收集器和MapReduce框架之上，并继承了Hadoop的可扩展性和鲁棒性， Chukwa使用MapR 阅读全文

摘要： 在互联网安全通信方式上，目前用的最多的就是https配合ssl和数字证书来保证传输和认证安全了。基本概念信息加密，对信息进行加解密，加密算法有对称加密和非对称加密；鉴别，消息接受者确认消息发送者确实为发送者本人，而非入侵者，---》数字证书技术；完整性，确保信息没被修改，---》数字签名技术；抗抵赖，数字鉴别技术；对称加密：即加解密的密钥能相互推算出来，或一样。算法要求通信双方开始通信时，要先商量一个用于加解密的密钥。优点，加密解密速度快；缺点：需要事先商量密钥，若通过网络传输，则可被监听；若存放在数据库，则当有n个Client时，需要n(n-1)/2个。非对称加密: 亦叫公开密钥算法，有一公 阅读全文

摘要： 作者：Jeff Moser译者：马国耀原文链接：http://www.infoq.com/cn/articles/HTTPS-Connection-Jeff-Moser当你在浏览了一个网站上面的商品之后，点击“继续并结帐”时会发生什么？本文即将对（浏览器）与Amazon建立安全连接的整个过程中最初的若干毫秒进行分析。当你点击继续按钮时一个新的页面将被加载：在短暂的220毫秒内，发生了很多有趣的事情，Firefox修改了地址栏的颜色，并在其右下角放置了一个锁状的图标。在我最喜爱的网络工具Wireshark以及略微修改的Firefox调试版的帮助下，我们可以对正在发生的事情看个究竟。根据RFC 2 阅读全文

摘要： 今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时（尤其是查表时的SQL语句），我们都需要注意数据操作的性能。这里，我们不会讲过多的SQL语句的优化，而只是针对MySQL这一Web应用最多的数据库。希望下面的这些优化技巧对你有用。0. 为查询缓存优化你的查询大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一，而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候，这些查询结果会被放到一个缓存中，这样，后 阅读全文

摘要： WTLS的作用是保证传输层的安全，作为WAP 协议栈的一个层次向上层提供安全传输服务接口。WTLS是以安全协议TLS1.0标准为基础发展而来的，提供通信双方数据的机密性、完整性和通信双方的鉴权机制。WTLS在TLS的基础上，根据无线环境、长距离、低带宽、自身的适用范围等增加了一些新的特性，如对数据报的支持、握手协议的优化和动态密钥刷新等。 WTLS能够提供下列三种类别的安全服务： i.第一类服务：能使用交换的公共密钥建立安全传输，使用对称算法加密解密数据，检查数据完整性，可以建立安全通信的通道，但没有对通信双方的身份进行鉴权。 ii.第二类服务：除完成第一类服务的功能外还可以交换服务器证书.. 阅读全文

摘要： PHP中的CURL函数库（Client URL Library Function）curl_close — 关闭一个curl会话curl_copy_handle — 拷贝一个curl连接资源的所有内容和参数curl_errno — 返回一个包含当前会话错误信息的数字编号curl_error — 返回一个包含当前会话错误信息的字符串curl_exec — 执行一个curl会话curl_getinfo — 获取一个curl连接资源句柄的信息curl_init — 初始化一个curl会话curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄资源curl_mult 阅读全文

摘要： 1.分布式日志收集系统:背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。2.分布式日志收集系统：Facebook Scribe主要内容（1）Scribe简介及系统架构（2）Scribe技术架构（3）Scribe部署结构（4）Scribe主要功能和使用方案（5）Scribe的具体应用 阅读全文