摘要:技术能力到业务价值的转化,是当今大数据传统行业实践面临的首要问题,经过这些年的发展大数据平台本身已经相对成熟,已经基本具备生产应用的可能。从实际项目的实践情况来看,成熟的也仅限平台框架本身,应用支撑实施工具层面的匮乏,使得大数据技术的企业应用很难做到如传统SQL技术一样的工程化,易用化。目前大部分厂家将注意力放在平台管理工具的开发上面,如Cloudera manager等,而没有将关注点放到企业实施的工具化,可视化等方面,从而造成了大数据项目在工程化和可交付方面的不足。大数据项目的建设是厂商、开发是厂商、管理是厂商、维护也是厂商,最终用户始终无法接手系统,这是目前比较突出的问题。
阅读全文
随笔分类 - 实践之路
摘要:基于Hive+Hadoop模式构建数据仓库,是大数据时代的一个不错的选择,本文以郑商所每日交易行情数据为案例,探讨数据Hive数据导入的操作实例。
阅读全文
摘要:FS-LDM 金融11个主题模型,大数据技术构建国家级、行业级信息中心的应用逐渐普遍,大数据只是技术而非解决方案,数据中心同样面临数据如何组织?数据逻辑模型如何构建的问题。
阅读全文
摘要:从对大数据的狂热到理性的回归,项目实施起到了醍醐灌顶的作用,大数据技术只能作为一种IT基础架构(存储+运算),而实际的工程化实施,还是要回归到IT传统技术,最近在整合大数据时代的数据仓库框架,希望能有更多的人参与进来。数据仓库实施数据模型的组织,需要引入更多的规则,下面要谈的就是数据仓库数据内容的组织方式。来自TD,可以借鉴到大数据时代的数据仓库建设。
阅读全文
摘要:昨天和一个做互联网大数据(零售行业)的朋友交流,关于大数据传统企业实施的切入点产生了争执,主要围绕两个问题进行了深入的探讨:
问题1:对于一个传统企业而言什么是核心业务,什么是外围业务?
问题2:大数据传统企业实施切入点到底是从核心开始还是该从外围介入?
两个问题有关联关系,如果界定不了核心与外围的边界,那么第二个问题也就无从回答。在此与大家共享,希望更多的人能参与进来发表自己的观点。
阅读全文