博客新增音乐播放器，点击打开捷径，切换或暂停音乐。
07 2017 档案
摘要：一、配置文件 1.core-site.xml 2、hdfs-site.xml 3、yarn-site.xml 4、slaves 二、建立本地连接 三、创建MapReduceProject 1、File -- new - Other --MapReduceProject 2、建立测试文件 3、run
阅读全文
摘要：1、格式化系统 hadoop namenode -format 2、put 上传 （） hadoop fs -put //hdfs dfs -put完全一样 hdfs dfs(和hadoop fs等价) eg:hadoop fs -mkdir -p /user/hadoop/data hdfs df
阅读全文
摘要：一、start-all.sh hadoop安装目录/home/hadoop/hadoop-2.8.0/ libexec/hadoop-config.sh 设置变量 sbin/start-dfs.sh 启动hdfs sbin/start-yarn.sh 启动yarn 二、sbin/start-dfs.
阅读全文
摘要：低版本的hadoop下MapReduce处理流程 1、首先用户程序(JobClient)提交了一个job,job的信息会发送到Job Tracker,Job Tracker是Map-reduce框架的中心，他需要与集群中的机器定时通信heartbeat,需要管理哪些程序应该跑在哪些机器上，需要管理所
阅读全文
摘要：tar -c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件 这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compr
阅读全文
摘要：前言 缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费
阅读全文
摘要：一、邮件协议 电子邮件的在网络中传输和网页一样需要遵从特定的协议，常用的电子邮件协议包括 SMTP，POP3，IMAP。其中邮件的创建和发送只需要用到 SMTP协议，所有本文也只会涉及到SMTP协议。SMTP 是 Simple Mail Transfer Protocol 的简称，即简单邮件传输协议
阅读全文
摘要：一、项目采用maven构建，如下为pom.xml中引入的jar包 二、输入文件 三、代码实现 四、输出结果 五、reduce输出内容
阅读全文
摘要：一、下载Eclipse并安装 二、下载exlipse的hadoop plugin 三、打开Map Reduce视图 Window --> Perspective --> Open perspective 四、编辑Hadoop Location 五、查看是否连接成功 六、上传文件或文件夹测试是否成功
阅读全文
摘要：修改namenode上的hdfs-site.xml 启动之后各个节点上进程：
阅读全文
摘要：文件内容例如： 小明 小李 小花 小白
阅读全文
摘要：一、引入 hadoop的分布式计算框架（MapReduce是离线计算框架） 二、MapReduce设计理念 移动计算，而不是移动数据。 Input HDFS先进行处理切成数据块（split） map sort reduce 输出数据（output HDFS） 三、示例 Mapping是根据我们书写的
阅读全文
摘要：HDFS文件权限 1、与linux文件权限类型 r:read w:write x:execute权限x对于文件忽略，对于文件夹表示是否允许访问其内容 2、如果linux系统用户sanglp使用hadoop命令创建一个文件，那么这个文件在HDFS中owner就是sanglp 3、HDFS的权限目的：阻
阅读全文
摘要：一、定义 高级加密标准（英语：Advanced Encryption Standard，缩写：AES），在密码学中又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES，已经被多方分析且广为全世界所使用。经过五年的甄选流程，高级加密标准由美国国家标准与技术研究
阅读全文
摘要：一、Spring依赖注入depents-on参数 depents-on是指指定Bean初始化及销毁时的顺序，使用depends-on属性指定的是Bean要先初始化完毕后才初始化当前Bean,由于只有Singleton Bean能被Spring管理销毁，所以当指定的Bean都是singleton时，使
阅读全文
摘要：DataNode的写操作流程 DataNode的写操作流程可以分为两部分，第一部分是写操作之前的准备工作，包括与NameNode的通信等；第二部分是真正的写操作。 一、准备工作 1、首先，HDFS client会去询问NameNoed,看哪些DataNode可以存储Block A，file.txt文
阅读全文
