摘要：
在配置Hadoop集群成功后，利用官方自带的例子简单测试了一下MapReduce程序WordCount，这个例子也就相当于编程入门的HelloWorld程序了，结构清晰容易理解，并且方便说明MapReduce的工作过程。这篇随笔主要想记录下在Eclipse中编写简单的MapReduce程序的上手过程 阅读全文
摘要：
在先前的几篇随笔中已经介绍了Hadoop、Zookeeper、Hbase的分布式框架搭建方案，目前已经搭建完成了一个包含11个节点的分布式集群。而对于HBase数据库的使用仅限于测试性质的增删改查指令，为了进一步熟悉分布式框架的使用，本文介绍将已有的数据从关系型数据库SQL Server中导入到HB 阅读全文
摘要：
在之前两篇随笔中，主要介绍了在一个分布式集群下配置Hadoop,Zookeeper以及HBase 的流程。在实际情况中，配置HBase集群时，需要配置的节点太多，并且配置的内容基本相同。为了避免重复繁琐的配置工作，可以使用Shell脚本工具来自动完成这些流程化的工作，节省时间并且减少人工配置错误的情 阅读全文
摘要：
本文所有工作基于上一篇博客《Hadoop平台搭建（VMware、CentOS）》，请确认已按照上文正确搭建好Hadoop环境 本文所有工作主要参考Apache HBase官方参考文档，部分步骤有所改变 本文工作止于在运行的HBase上测试基本的数据表功能，以确定HBase的正常运行 一、集群结构 在 阅读全文
摘要：
1、硬件平台 Intel(R) Xeon(R) CPU E7-4850 v3 @ 2.20GHz 2.19GHz(4处理器) 安装内存384GB 2、软件平台 Windows Server 2012 R2 Standard Edition, 64-bit (Build 9600) 6.3.9600 阅读全文
摘要：
1、网络分段（Network segmentation） 为了应对网络的增大而导致的用户响应缓慢以及数据流堵塞，而将大型网络划分为众多小网络的行为。可以使用路由器、交换机和网桥等设备。2、导致LAN拥塞的常见原因： ①同一个广播域或冲突域中的主机太多； ②广播风暴； ③组播数据流太多； ④... 阅读全文
摘要：
由于实习项目需要，最近在研究VLC Media Player，该播放器来源于École Centrale Paris（巴黎中央理工学校）的一个学术项目，名为VideoLAN，VLC意为VideoLAN Client。后发展为一个由志愿者组成的非营利性组织，开发并提供免费、开源的多媒体解决方案。我的工... 阅读全文
摘要：
双调排序（bitonic sort）属于排序网络(Sorting Network）的一种，是一个可并行计算的排序算法。Bitonic Sort是一个叫Batcher的数学家在1968年提出的。基础是关于双调序列的Batcher定理。这个排序算法其实实现起来比较简单（当然我说的是递归实现），但是隐藏在其背后的数学原理就不是那么简单就能说明白的了。在参考了维基百科（http://en.wikipedia.org/wiki/Bitonic_sorter）上面的介绍以及小例子之后，基本明白了这个算法的实现原理。1、对于一个给定的整形数组A，我们将其均分为两个部分A1,A2；2、对A1进行升序排序，对A 阅读全文
摘要：
废话不多说，首先上图（由于我刚解决完，所以截不了图了，引用MSDN上的）简单来说，VS2013的更新程序是由C:\Users\***\AppData\Local\Temp\{2fba7dd0-b8eb-4185-aea3-e6910d3f8102}\.ba1\BootstrapperApplicationData.xml文件指定需要下载的更新包的，每次会在C:\Users\***\AppData\Local\Temp\{2fba7dd0-b8eb-4185-aea3-e6910d3f8102}路径下创建临时文件，下载完成以后会根据需要更改文件名并自动转存到相应的文件夹内进行安装。而这里出现的问 阅读全文