Hadoop develop

博学笃志,切问近思,此八字,是收放心的工夫。 神闲气静,智深勇沉,此八字,是干大事的本领。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2013年9月5日

摘要: 64岁祖母级选手53小时横渡海峡创纪录,上岸后,尼亚德用仅存的力气对围观者说:“我只想说三句话,第一,我们永远也不要放弃。第二,在追逐梦想的道路上,你永远也不会老。第三,这(横渡海峡)看起来是一个人的运动,但实际上是团队努力的结果。 阅读全文
posted @ 2013-09-05 08:10 张子良 阅读(797) 评论(0) 推荐(1) 编辑

2013年9月3日

摘要: fork()函数执行一次,返回两次,你知道原因吗?子进程中返回0;父进程中返回子进程ID(>0);调用一次返回两次;复制父进程地址空间内容(非地址)给子进程;子进程拥有独立的地址空间;无法确定执行顺序; 阅读全文
posted @ 2013-09-03 14:45 张子良 阅读(820) 评论(0) 推荐(3) 编辑

摘要: 前言: 本文是《基于Hadoop开发网络云盘系统架构设计方案》的第二篇,针对界面原型原本考虑有两个方案:1、类windows模式,文件夹、文件方式,操作习惯完全按照Windows方式进行,提供右键菜单管理命令。2.浏览列表式,提供常规界面按钮式命令。本文采用的方式是文件清单列表式,至于第一种方式,另列专题进行说明。一、界面原型二、设计说明 连接管理:建立连接、断开连接、设置连接参数 文件操作:浏览文件、上传文件、下载文件、删除文件、导入文件(批量)、刷新列表 用户管理:查看用户信息、修改用户密码 三、遗留问题 1.文件操作长连接还是短连接问题? 2.下载优化问题?以文件/块为单位... 阅读全文
posted @ 2013-09-03 08:16 张子良 阅读(2094) 评论(0) 推荐(0) 编辑

2013年9月2日

摘要: 引言:二代支付系统是人民银行新一代现代化支付系统,目前各商业银行的接入开发工作正紧锣密鼓的进行。按照人民银行的计划和安排,2013年10份,第一批接入工作将开始。本文是第二代支付系统城市商业银行接入系统的总体设计初稿。一、总体设计 详见下图:二、外部结构 城市商业银行以参与者身份接入人民银行第二代支付系统,在整个第二代支付系统中,商业银行的角色见上图。三、设计说明 3.1 系统构成 整个行内接入系统划分为:前端系统(VFS)、前置系统(FRT)、核心系统(CoreBank)、报表系统(Report)、运行监控系统(Monitor)。 3.2 组件说明 BEP:一代支付小额业务服务组... 阅读全文
posted @ 2013-09-02 10:46 张子良 阅读(3972) 评论(0) 推荐(2) 编辑

2013年8月28日

摘要: 云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。 阅读全文
posted @ 2013-08-28 15:29 张子良 阅读(5013) 评论(0) 推荐(4) 编辑

2013年8月26日

摘要: 引言 Hadoop提供的HDFS布式文件存储系统,提供了基于thrift的客户端访问支持,但是因为Thrift自身的访问特点,在高并发的访问情况下,thrift自身结构可能将会成为HDFS文件存储系统的一个性能瓶颈。我们先来看一下一不使用Thrfit方式访问HDFS文件系统的业务流程。一、HDFS文件读取流程 流程说明:使用HDFS提供的客户端开发库Client,向远程的Namenode发起RPC请求;Namenode会视情况返回文件的部分或者全部block列表,对于每个block,Namenode都会返回有该block拷贝的DataNode地址;客户端开发库Client会选取离客户端最接.. 阅读全文
posted @ 2013-08-26 13:28 张子良 阅读(2300) 评论(6) 推荐(0) 编辑

2013年8月23日

摘要: 引文: 个人名言:“同一条河里淹死两次的人,是傻子,淹死三次及三次以上的人是超人”。经历过上次悲催的面试,决定沉下心来,好好的补充一下基础知识点。本文是这一系列第一篇:进程间通讯之mmap。一、概念:什么是mmap? 通过共享存储实现进程间通讯是一个主要的进程间通讯的方式。它包括磁盘文件的共享和内存的共享,以前总是关注内存的共享,而忽略了磁盘文件的共享,也就是这里要讲的mmap。mmap地址映射是Linux系统提供的一种功能强大的系统调用,最典型的应用是用于显卡内存的映射。同样,对于普通的硬盘文件也可以进行mmap系统调用。mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存.. 阅读全文
posted @ 2013-08-23 10:09 张子良 阅读(979) 评论(0) 推荐(0) 编辑

2013年8月15日

摘要: 引文:线程模型(Threading Model)默认从进程域 (M:N 模型 ) 改为系统全局域 (1:1 模型 )在 AIX 5L 中,pthread 线程的默认模型是 m:n 方式,而从 AIX 6.1 开始,默认改为了 1:1 方式。这两种方式在系统中通过 AIXTHREAD_SCOPE 环境变量来进行控制。如果设置 AIXTHREAD_SCOPE=P,则线程模型为进程域(M:N 模型),设置 AIXTHREAD_SCOPE=S 则为系统域(1:1 模型)。1:1 模型下,每个用户空间的线程都对应于内核中的一个线程,线程的调度由内核在系统全局范围进行;而 M:N 模型下,多个用户线程对应 阅读全文
posted @ 2013-08-15 16:37 张子良 阅读(518) 评论(0) 推荐(0) 编辑

2013年8月9日

摘要: 引子:线程死锁曾是多少程序员的噩梦,每每为此食不甘味,夜不成寐,一句话:苦不堪言。本文从几个场景入手,试图解开产生死锁的原因之谜。教科书:说的很具体,理解很抽象 关于死锁产生的原因《操作系统》中有比较好的说明: (1)因为系统资源不足。 (2)进程运行推进的顺序不合适。 (3)资源分配不当等。 关于死锁出现的必要条件也有比较具体的说明: (1)互斥条件:一个资源每次只能被一个进程使用。 (2)请求与保持条件:一个进程因请求资源而阻塞时,对已获得的资源保持不放。 (3)不剥夺条件:进程已获得的资源,在末使用完之前,不能强行剥夺。 (4)循环等待条件:若干进程之间形成一种头尾相接... 阅读全文
posted @ 2013-08-09 10:49 张子良 阅读(1089) 评论(0) 推荐(1) 编辑

2013年8月8日

摘要: 引文:学而时习之,不亦说乎。总是忙于具体项目,业务功能的实现;关于编程本身的技能都要有些生疏了,于是就选择了几个专题做了一次温习,重点放在了多线程和多进程上,跑了一个实例,居然有新的发现:(1)多个线程顺序创建的顺序=线程执行顺序吗?(2)多个线程顺序创建,回调函数执行顺序有规律吗?示例:#include "apue.h"#include void *thr_fn1(void *arg){ printf("thread 1 returning\n"); return((void *)1);}void *thr_fn2(void *arg){ printf 阅读全文
posted @ 2013-08-08 16:18 张子良 阅读(2516) 评论(1) 推荐(2) 编辑