随笔分类 - hadoop

hadoop大数据处理之表与表的连接

摘要：前言： hadoop中表连接其实类似于我们用sqlserver对数据进行跨表查询时运用的inner join一样，两个连接的数据要有关系连接起来，中间必须有一个相等的字段进行连接，其实hadoop的表连接就是对文本的处理，处理的文本中有一部分的内容是一样的，然后把这鞋大量的数据按照中间的一个相同的部... 阅读全文

posted @ 2014-01-06 19:12 小许同学：路阅读(3149) 评论(6) 推荐(2) 编辑

hadoop集群的搭建与配置（2）

摘要：对解压过后的文件进行从命名把"/usr/hadoop"读权限分配给hadoop用户（非常重要）配置完之后我们要创建一个tmp文件供以后的使用然后对我们的hadoop进行配置文件的配置vim /etc/profile最下边的两行就是我们的hadoop文件的配置内容重新启动配置文件。之后要配置hadoo... 阅读全文

posted @ 2014-01-02 14:16 小许同学：路阅读(849) 评论(0) 推荐(0) 编辑

hadoop集群的搭建与配置（1）

摘要：前言首先hadoop是在linux系统上进行搭建的，我们首先要在自己电脑上装上虚拟机然后装linux系统，因为我们是测试：在本地虚拟机上装两个linux分别搭建好hadoop环境能实现简单的数据处理就可以了，最终的效果类似于我们c#中的hello world！能做到这里我们的搭建测试环境就算基本... 阅读全文

posted @ 2014-01-01 00:11 小许同学：路阅读(419) 评论(0) 推荐(0) 编辑