摘要:
Python标准库 Python标准库是随Pthon附带安装的,包含了大量极其有用的模块。 1. sys模块 sys模块包含系统对应的功能sys.argv ---包含命令行参数,第一个参数是py的文件名sys.platform ---返回平台类型sys.exit([status]) --... 阅读全文
摘要:
对应Derby作为默认数据库的时候,多个shell 客户端就会挂掉,此时kill 掉hive 进程就可以, kill 命令: kill -9 `ps -ef |grep hive |awk '{print $2}' ` 1:Shuffle Error: Exceeded MAX_FAILED_UNI... 阅读全文
摘要:
Hello,I'm Jack Ma,founder and chairman of Alibaba Group.15 years ago,18 founders in my apartment had a dream,that someday,we can build up a company th... 阅读全文
摘要:
(1)channelfilechannel(cannot used with sector as it's blocking) socketchannel serversocketchannel datagramchannel(for udp) serversocketchannel is resp... 阅读全文
摘要:
1、TCP连接手机能够使用联网功能是因为手机底层实现了TCP/IP协议,可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口,使上层网络数据的传输建立在“无差别”的网络之上。建立起一个TCP连接需要经过“三次握手”:第一次握手:客户端发送syn包(syn=j)到服务器,并进入S... 阅读全文
摘要:
1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据, 直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的reg... 阅读全文
摘要:
HBase技术介绍 莫问 HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigt... 阅读全文
摘要:
本文转自:http://blog.csdn.net/xgbjmxn/article/details/6200738ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版,虽然具体实现有很多差异。ZooKeeper概要的介... 阅读全文
摘要:
zookeeper使用和原理探究(一)zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法。zookeeper安装和使... 阅读全文
摘要:
一.RPC协议在分析协议之前,我觉得我们很有必要先搞清楚协议是什么。下面我就谈一点自己的认识吧。如果你学过java的网络编程,你一定知道:当客户端发送一个字节给服务端时,服务端必须也要有一个读字节的方法在阻塞等待;反之亦然。 这种我把它称为底层的通信协议。可是对于一个大型的网络通信系统来说,很显然这... 阅读全文