摘要：
Linux如何对文件内容中的关键字进行查找 如果是用vi打开文件后，在命令行下输入“/关键字” 如果是在没有打开文件的前提就用"cat 文件名 | grep "关键字"" 例如： cat 123.txt |grep dashuju 全部的都会列出来 shift+Z+Z 快速退出文件编辑 不保存 阅读全文
摘要：
hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本地化特征。 通常输入的数据首先在逻辑上（注意这里不是真正物理上划分）将会分片split，每个分片上构建一个m 阅读全文
摘要：
什么是MapReduce 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。 MapReduce方法则是： 1.给在座的所有玩家中分配这摞牌 2.让每个玩家数自己手中的牌有几张是黑桃，几张是红桃，然后把这两组数目汇报给你 3.你把所有玩家告诉你的两组数字分别加起来，得到最后 阅读全文
摘要：
一、HDFS概述 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 通透 阅读全文
摘要：
这里我提供 服务端和客户端的两个jar包的百度云，也是我使用的 链接：https://pan.baidu.com/s/11a3LT-ENZ8n9IF19-VjmWA 提取码：bdls 离线安装Mysql 1°、查看mysql的依赖 rpm -qa | grep mysql 2°、删除mysql的依赖 阅读全文
摘要：
Hadoop 基本概念 一、Hadoop出现的前提环境 随着数据量的增大带来了以下的问题 （1）如何存储大量的数据？ （2）怎么处理这些数据？ （3）怎样的高效的分析这些数据？ （4）在数据增长的情况下如何构建一个解决方案？ 在大数据领域提出了两个概念 （1）分布式文件系统 用于存储大量的数据 （2 阅读全文
摘要：
一、前述 分享一篇hadoop的常用命令的总结，将常用的Hadoop命令总结如下。 二、具体 1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、 阅读全文
摘要：
前提工作： 克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】 上一篇博客 （三台虚拟机都要开机） Hadoop2.6.0 的压缩包，这里我提供百度云，没有的可以进行下载 链接：https://pan 阅读全文
摘要：
1、安装vmware，务必以管理员身份运行 操作系统(CentOS 6.5)的配置 准备工作：虚拟机安装三台linux 本次测试是 centos 6.5，(三台虚拟机的系统时间保持一致) *安装jdk（在另外一个文档中） *克隆虚拟机 *在vmware设置-克隆（虚拟机要关机，jdk要配置好） 选择 阅读全文
摘要：
为什么使用Lambda表达式？（做为初学者接触这个新的语法，会很懵逼，说道理，我在接触到这一块的时候，语法规则我看到了也很懵逼，因为这个和逻辑的关系不是很大，但就是作为一种新的语法出现，一时间很难接受。所以，只要我们多加练习，熟悉了就会接受了，记住，要多加练习！！就像你和一个刚刚学习Java的人来说 阅读全文