江湖小妞

摘要： HDFS文件操作的基本格式是：1 bin/hadoop dfs -cmd 1. cat1 $ hadoop dfs -cat URI [URI …] 2 #将参数所指示的文件的内容输出到stdout 3 4 #example:5 $ hadoop dfs -cat file:///file2 /us... 阅读全文

摘要： 在使用一个工具之前，应该先对它的机制、组成等有深入的了解，以后才会更好的使用它。下面来介绍一下什么是HDFS，以及他的构架是什么样的。1.什么是HDFS？ Hadoop主要是用于进行大数据处理，那么如何有效的存储大规模的数据呢？显然，集中式的物理服务器保存数据是不现实的，其容量、数据传输速度等... 阅读全文

摘要： 当第二次运行Jar程序时，出现Output文件已存在的Exception：Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost... 阅读全文

摘要： 昨天在进行Hadoop实验时遇到一个问题，在sbin目录下输入jps命令，查看当前节点的状态时，意外发现DataNode节点不见了！！于是回忆了一下自己之前的操作过程，大概是因为将自己进入文件夹，将某些存储有DataNode节点的信息删除了。。 Search了很多方法，说法各异，现在说一下自己... 阅读全文

摘要： 写在前面：WordCount的功能是统计输入文件中每个单词出现的次数。基本解决思路就是将文本内容切分成单词，将其中相同的单词聚集在一起，统计其数量作为该单词的出现次数输出。1.MapReduce之wordcount的计算模型1.1 WordCount的Map过程假设有两个输入文本文件，输入数据经过默... 阅读全文

摘要： 在这个阴雨绵绵的下午，没有睡午觉的我带着一双惺忪的眼睛坐在了电脑前，泡上清茶，摸摸已是略显油光的额头（笑cry），，奋斗啊啊啊啊！！%>_<% 1.课程回顾。 1.1 Hadoop系统运行的软件系统：Linux操作系统（小红帽或Ubuntu）、SSH（Secure Shell主要用于远程管理Hado 阅读全文

摘要： 在昨天的博文中，写下了自己对概率RS，决策RS，博弈RS的一点点区别，现在详细的解释一下DTRS中关于阈值，条件概率等计算问题，以及博弈粗糙集的详细介绍。在定义DTRS时，我们引入了条件概率、阈值等我们目前并没有给出解释、计算未知量，因此下一步亟需解决的问题就是：A)阈值(α,β)的解释与计算；B)... 阅读全文

摘要： 这篇博文主要讲概率粗糙集与DTRS的由来。。 阅读全文

摘要： 关于位操作符。如 co = new HashMap();2 co.put('A', 0);3 co.put('B', 1);4 co.put('C', 2);5 c0.put('D', 3);第二，那么10位字符串怎么对应成一个32位的整数呢？开始时百思不得其解，其实也很简单，用一个for循环即可。... 阅读全文