摘要： > 需求: 在一堆给定的文本文件中统计输出每一个单词出现的总次数 ##### Step 1. 数据格式准备 1. 创建一个新的文件 ```shell cd /export/servers vim wordcount.txt ```2. 向其中放入以下内容并保存 ```text hello,world 阅读全文

摘要： MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 * Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依 阅读全文

摘要： 先配置好Windows环境 然后导入 Maven 依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.5</ve 阅读全文

摘要： HDFS限额配置1 文件个数限额 hdfs dfs -count -q -h /user/root/dir1 #查看配额信息 hdfs dfsadmin -setQuota 2 dir #设置N个限额数量,只能存放N-1个文件 hdfs dfsadmin -clrQuota /user/root/d 阅读全文

摘要： hdfs dfs -ls / hdfs dfs -put a.txt / #将文件复制到hdfs hdfs dfs -put /root/a.txt /root/ hdfs dfs -mkdir /dir1 hdfs dfs -mkdir -p /dir1/dir11 #递归创建文件夹 hdfs d 阅读全文

摘要： HDFS采用master/slave架构。一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。 Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。 HDFS中的文件在物理上是分块存储(block)的，块的 阅读全文

摘要： 软件工程 从这门课学到了很多关于软件工程的很多知识，也更能理解《构建之法》这本中的内容。 个人作业，结对开发，团队开发，都从中学习到了不少的东西。 建议： 希望老师可以提供一些学习资料 希望老师关于这门课能有更多的玩法儿，比如随机组队等 个人总结： 这学期还不是最佳的状态，有一定的回暖，下学期一定到 阅读全文

摘要： 《三个和尚》真是一部生动有趣而又富有教育意义的好影片! 影片一开始就把我吸引住了，伴随着清脆而有节奏的木鱼声，银幕上映出“一个和尚挑水吃，两个和尚抬水吃”的字样，当映到“三个和尚”四个大字时，木鱼戛然而止。我知道，三个和尚肯定是没水吃了呗。为什么呢?瞧，一个小和尚没有依靠，自然得自己去挑水;后来又来 阅读全文

摘要： 1.xlwt 写入xls文件内容 import xlwt book = xlwt.Workbook() # 新建工作簿 table = book.add_sheet('Over',cell_overwrite_ok=True) # 如果对同一单元格重复操作会发生overwrite Exception 阅读全文

摘要： 继上次之后，读完了这本书剩下的东西。 软件测试。一些概念，Bug：软件的缺陷 Test Case：测试用例 Test Suite :测试用例集 Bug可以分解为:症状（Symptom）、程序错误（Fault）、根本原因（Root Cause） 测试设计有两类方法：黑箱和白箱。 按测试的目的分：功能测 阅读全文