Hadoop develop

博学笃志,切问近思,此八字,是收放心的工夫。 神闲气静,智深勇沉,此八字,是干大事的本领。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

07 2013 档案

摘要:一、系统概述 银联卡支付业务是中国现代化支付方式中最重要的一种,村镇银行作为金融支付机构,银联卡支付业务在其日常经营活动中,占有很大的比重。金电银联卡支付系统正是着眼于村镇银行业务需求,结合村镇银行业务特点,而研发的一套专门针对村镇银行业务的,符合村镇银行业务特点的银联卡支付系统。二、逻辑架构三、产品特点一点接入所有托管机构共用同一个渠道,接入银联网络(CUPS),省去了各自申请网络接入的中间环节,大大缩短了新入网机构业务投入运营的时间,简洁、高效。多法人支持本系统支持多个法人机构的接入,各机构独立运行,独立清算,并提供针对各法人机构独立的运行报表,结算报表等服务。安全可靠本系统网络服务采用. 阅读全文
posted @ 2013-07-26 09:53 张子良 阅读(2041) 评论(0) 推荐(0) 编辑

摘要:引子: Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统的网络或者机器出现故障时,scribe会将日志转存到本地或者另一个位置,当中央存储系统恢复后,scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用,scribe用于向HDFS中push日志,而Hadoop通过MapReduce作业进行定期处理。 Scribe从各种数据源.. 阅读全文
posted @ 2013-07-25 10:05 张子良 阅读(2014) 评论(0) 推荐(2) 编辑

摘要:大数据应用日志采集之Scribe 安装配置指南1.概述Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能从各种日志源收集日志,存储到一个中央存储系统上,便于进行集中统计分析处理。它为日志的”分布式收集,统一处理”提供了一个可扩展的,高容错的方案。scribe代码很简单,但是安装配置却很复杂,本文记录了作者实际的一次安装的过程,感觉真是不一般的琐碎,另外Scribe开源社区的版本已经是几年前的版本了,最新的维护信息一致没有看到,HDFS和Thrift的版本使用的都是比较旧的版本,考虑另开一个分支,升级一下Scribe,看到时候有没有时间了。2.Scr 阅读全文
posted @ 2013-07-23 08:40 张子良 阅读(2881) 评论(0) 推荐(1) 编辑

摘要:平面广告有没有?铺天盖地的电视广告有没有?狂轰滥炸的网络营销有没有?海量群发的电子邮件有没有?百度竞价排名有没有?传统的营销推广方式用可以用四个字来概括:简单、粗暴。而真实效果呢,评价起来也可以提炼出四个字:高价、低效。不考虑目标对象的感受的结果就是垃圾箱、回收站和永久屏蔽的网络站点。这就好比高射炮打蚊子,不仅仅是方向有问题,打出去的炮弹也是成本呢? 阅读全文
posted @ 2013-07-18 08:47 张子良 阅读(742) 评论(0) 推荐(2) 编辑

摘要:历史期次的双色球选注数据的存储,采用什么样的格式比较好呢?这需要重点从三个方面考虑,一、文件访问方便吗?二、文件服务器空间够用吗?三、软硬件故障环境下,如何保障数据的可用性。基于这几个方面的考虑,到底是采用文件存储还是采用数据库存储呢?本文,从传统和前沿技术两个角度给出了两种相应的解决方案。 阅读全文
posted @ 2013-07-16 15:35 张子良 阅读(1797) 评论(0) 推荐(4) 编辑

摘要:大数据的场景下,NoSql型数据库的优势不言而喻,但是涉及NoSQL数据库的实际动手开发的东西多是Linux平台,大多语焉不详,至于Windows平台介绍的东西就更少了,而且大多无法运行。本文就Windows平台基于Eclipse搭建Hbase环境客户端开发环境做一个介绍。另外基于Thrift实现的Windows版本Hbase客户端库也做了封装,有需要的可以留言索取。 阅读全文
posted @ 2013-07-11 15:33 张子良 阅读(2739) 评论(0) 推荐(2) 编辑

摘要:武侠小说中,高手的至高境界就是无招胜有招,前提是他是高手,否则一顿乱舞,且不说能否战胜别人,且看没有体力支撑的姿势,其杀伤力能有几何,也就可想而知了。文中作者也一再的提到:“你贪婪的咀嚼《代码大全》, 《程序员修炼之道》,当然,还有 Joel”。其实已经给他的扔掉规范的程序员圈定了范围,高手,大师。大师有多少,有几多?见过高手,也见过大师,可是见的更多的是自命不凡的九段菜鸟,却自以为一是高手,神僧的狂徒,这些人你要他自我发挥吗?见过他们发挥的恐怕不止我一个,不做评价吧。 阅读全文
posted @ 2013-07-10 11:45 张子良 阅读(1387) 评论(0) 推荐(6) 编辑

摘要:你是否为无法看到自己园子的访问流量而黯然神伤呢?实战博客园访问流量计数器-三步操作简化教程,三步教会你设置博客园流量计数器,具体效果见我的博客。 阅读全文
posted @ 2013-07-04 16:54 张子良 阅读(1735) 评论(0) 推荐(15) 编辑

摘要:7月2日是一个难得的大晴天,一段时间以来桂林一直在下雨,一直下,害的我减肥的计划一再的泡汤,因为下雨每天早上的跑步变成了观雨。和往常一样,准时来到单位,却不准时的得到一个消息:昨晚前置生产数据库出问题了,连接不上。本能的反应,日志满了,或者服务器交换空间不足。急忙赶到运维间,经询问夜间值班人员,发现后续的情况是:logsegment日志空间确实是满了,发现问题后,运维人员采用dump日志的方式进行处理,却发现dump根本不被执行,无奈最后只得采用增加log设备空间的方式,进行了紧急处理。现在的问题是到底是什么原因引起的log空间的陡然间增加呢? 阅读全文
posted @ 2013-07-03 11:02 张子良 阅读(2423) 评论(0) 推荐(1) 编辑