大数据提取价值信息技术实现方案

大数据提取价值信息技术实现方案

分5步：

1、通过FTP採集文件

2、把文件入到HDFS系统

3、使用HIVE从HDFS中选择数据

4、使用DataStage或Infomatica把数据入库

5、入库到Sybase IQ数据库

注意事项：

1、不一定用ftp採集文件，反正仅仅要把海量文件採集过来就可以；

2、採集的源文件一定是海量的，能够文件数海量，也能够文件中的内容海量，要不然就不叫大数据了；

3、这里面主要用到了hadoop的hdfs，没实用到mapreduce。

4、mapreduce事实上是hive帮你实现了；

5、使用hive是由于仅仅要会sql的人都会使用hive，学习成本低，一般企业特别是老企业会sql的开发者一大把。

6、DataStage是ibm的，认为不好用，所以如今用Infomatica替换。

7、ibm的东西都是卖的非常廉价，但维护费非常贵，他不开源所以你不得不找他来帮忙维护，所以我一直非常讨厌它；

8、ibm的东西不光维护贵，并且扩节点也不廉价。如今公司部分主机已转向HP；

9、不一定选择Sybase IQ。所以公司选择了也没啥大问题，查询的速度挺快，更新和插入临时也不认为很慢。它是基于列存储的并且价格比oracle廉价很许多。

应用场景：

比方你的站点有大量的用户搜索信息，能够把这信息文件入到hdfs，然后通过select出每一个keyword的查找次数，最终把这个关键词和次数入库到IQ。

那么。你直接看IQ。就能够知道近期大家搜索的最多最关注的是什么词语了。

本文出自：ouyida3的csdn

2015.3.18