摘要：
package HDFS; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import java.io.FileInputStream; import java.io.FileOutputStream; impor... 阅读全文
摘要：
public class PC { public static void main(String[] args) { BlockingQueue bq = new ArrayBlockingQueue(5); for(int i = 0 ;i bq; public Productor(BlockingQueue bq){ ... 阅读全文
摘要：
ExecutorCompletionService有三个成员变量： executor：执行task的线程池，创建CompletionService必须指定； aes：主要用于创建待执行task； completionQueue：存储已完成状态的task，默认是基于链表结构的阻塞队列LinkedBlo 阅读全文
摘要：
任务类： 线程池1： 结果： 首先填满核心线程数，然后填满队列，然后填满最大线程数。 阅读全文
摘要：
实现一个计算接口 一个缓存类 1. 先检查是否存在结果缓存 2. 如果没有就准备执行计算 3. 将准备计算的任务加入到缓存，其他相同任务到来时候就会被阻塞，等待第一个任务的结束而不需要重新计算 4. 新的任务开始计算 5. 获取结果返回 代码的演示Demo 运行的结果 阅读全文
摘要：
从BigTable说起： BigTable用于解决互联网的搜索问题 1. 建立互联网的索引 爬虫持续不断的抓取新的网页，这些网页每一页一行的存储到BIgTable中 MapReduce计算作业运行在整个表上，生成索引，为网络搜索应用做准备 2. 搜索互联网 用户发起网络搜索请求 搜索网络应用查询建立 阅读全文
摘要：
分布式文件系统HDFS 需要实现以下的一些目标： 1. 廉价的硬件设备 2. 流数据读写（和传统系统区别的地方，全部的数据一股脑的读取） 3. 大数据集（一个文件可能有时候大到好几个T） 4. 简单的文件模型（获取了批量处理的特性，只能追加，不可以修改） 5. 强大的跨平台特性（java开发的） H 阅读全文
摘要：
# 做一个简称plt import matplotlib.pyplot as plt import numpy #制作点数据 # Return evenly spaced numbers over a specified interval. x = numpy.linspace(-1,1,50) y1 = 2*x + 1 y2 = x**2 #一个图形中放入两条线 plt.figure(n... 阅读全文
摘要：
1、日志记录：记录请求信息的日志，以便进行信息监控、信息统计、计算PV（Page View）等。 2、权限检查：如登录检测，进入处理器检测检测是否登录，如果没有直接返回到登录页面； 3、性能监控：有时候系统在某段时间莫名其妙的慢，可以通过拦截器在进入处理器之前记录开始时间，在处理完后记录结束时间，从 阅读全文