11 2019 档案
摘要：1.问题：QTabWiget的头部背景色通过设置background-color属性没有生效，网上找了很多方法，也不生效。 2.解决办法：在Qt Designer中将autoFillBackground复选框勾选，设置背景色，就会自动填充颜色。 background-color:#FFFFFF 3.
阅读全文
摘要：1.1 MRUnit写单元测试 作用：一旦MapReduce项目提交到集群之后，若是出现问题是很难定位和修改的，只能通过打印日志的方式进行筛选。又如果数据和项目较大时，修改起来则更加麻烦。所以，在将MapReduce项目提交到集群上之前，我们需要先对其进行单元测试。单元测试需要用到mrunit库，这
阅读全文
摘要：辅助类GenericOptionsParser,Tool和ToolRunner （1）为什么要用ToolRunner 将MapReduce Job配置参数写到java代码里，一旦变更意味着修改java文件源码、编译、打包、部署一连串事情。当MapReduce 依赖配置文件的时候，你需要手工编写jav
阅读全文
摘要：6.1 Hadoop属性配置API Hadoop需要添加一些自定义的属性值，可以通过Configuration类的实例来加载xml配置文件中的属性值。 （1） xml配置文件的格式 <?xml version="1.0"?> <configuration> <property> <name>colo
阅读全文
摘要：5.4.2 mapFile （1）定义 MapFile即为排序后的SequeneceFile,将sequenceFile文件按照键值进行排序，并且提供索引实现快速检索。 （2）索引 索引取值是每隔128（默认128，可通过io.map.index.interval来修改）个键取一个键组成，将索引加载
阅读全文
摘要：5.4.1 sequenceFile读写文件、记录边界、同步点、压缩排序、格式 HDFS和MapReduce是针对大文件优化的存储文本记录,不适合二进制类型的数据。SequenceFile作为小文件的容器，SequenceFile类型将小文件包装起来，可以获得更高效率的存储和处理。sequenceF
阅读全文
摘要：序列化框架 除了writable实现序列化之外，只要实现让类型和二进制流相互转换，都可以作为hadoop的序列化类型，为此Hadoop提供了一个序列化框架接口，他们在org.apache.hadoop.io.serializer包中，Writable可以作为MapReduce支持的类型也是因为实现了
阅读全文
