摘要：
数据去重： 1 import java.io.IOException; 2 3 import org.apache.hadoop.fs.Path; 4 import org.apache.hadoop.io.Text; 5 import org.apache.hadoop.mapreduce.Job; 6 import org.apache.hadoop.mapreduce.Mapper; 7 import org.apache.hadoop.mapreduce.Reducer; 8 import org.apache.hadoop.mapreduce.lib.input.FileInput. 阅读全文
摘要：
线程池在系统启动时即创建大量空闲的线程，程序将一个Runnable对象传给线程池，线程池就会启动一天线程来执行该对象的run方法 ，放run方法执行结束后，该线程并不会死亡，而是返回线程池中成为空闲状态，等待执行下一个Runnable对象的run方法还可以控制系统中并发的线程数量 1 package com.thread; 2 3 import java.util.concurrent.ExecutorService; 4 import java.util.concurrent.Executors; 5 6 public class ThreadPoolTest { 7 publi... 阅读全文
摘要：
1、线程的协调运行Object类提供wait()、notify()和notifyAll()三个方法，不属于Thread类，这三个方法必须由同步监视器对象来调用 在同步方法和同步方法块中使用wait():导致当前线程等待，直到其他线程调用该同步监视器的notify()或notifyAll()方法来唤醒改线程，调用wait()方法的当前线程会释放对该同步监视器的锁定notify()：唤醒在此同步监视器上等待的单个线程。如果有多个，任意选取其中一个，只有当前线程放弃对该同步监视器的锁定后（使用wait（）方法），才可以执行被唤醒的线程notifyAll()：唤醒在此同步监视器上等待的所有线程。2、使 阅读全文
摘要：
1、同步代码块synchronized(obj){...} 括号里的obj就是同步监视器线程开始执行同步代码块前，必须先获得对同步监视器的锁定，执行结束后自动释放对同步监视器的锁定2、同步方法使用synchronized修饰的方法，无须显示指定同步监视器，同步方法的同步监视器是this1）不要对线程安全类的所有方法都进行同步，只对那些会改变竞争资源的方法进行同步2）单线程环境中使用线程不安全版本保证性能，多线程环境中使用线程安全版本3、释放同步监视器的锁定当线程进入同步代码块、同步方法后：下面几种情况会释放同步监视器的锁定：1）执行结束2）遇到break、return终止了该代码块、该方法的执 阅读全文
摘要：
1、join线程当在某个程序执行流中调用其他线程的join()方法时，调用线程将被阻塞，直到被join方法加入的join线程完成为止。2、后台进程任务是为其他的线程服务，如JVM的垃圾回收线程。如果所有的前台线程都死亡，后台线程会自动死亡调用Thread对象setDaemon(true)可将指定线程设置成后台线程，但其必须在start()方法之前调用3、线程睡眠：sleep当前线程调用sleep方法后进入阻塞状态，在其sleep时间段内，该线程不会获得执行的机会，即使没有其他可运行的线程，处于sleep中的线程也不会运行，因此sleep方法常用来暂停程序的执行4、线程让步：yield让当前正在 阅读全文
摘要：
1、线程和进程：操作系统一般都支持同时运行多个任务，一个任务通常是一个程序，每个运行中的程序就是一个进程。当一个程序运行时，内部可能包含多个顺序执行流，每个顺序执行流就是一个线程。进程是处于运行过程中的程序，并且具有一定的独立功能，是系统进行资源分配和调度的一个独立单位。线程是进程的执行单元，线程在程序中是独立的、并发的执行流。多个线程间共享进程资源。并发性：并发指在同一时刻只能有一条指令执行，但多个进程指令被快速轮换执行并行性：并行指在同一时刻，有多条指令在多个处理器上同时执行2、线程的创建和启动1）继承Thread类创建线程类线程类不能再继承其他父类 1 public class Firs 阅读全文
摘要：
第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1... 阅读全文
摘要：
适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码扩展：bloom filter可以看做是对bit-map的扩展问题实例：1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。或者我们不用2bit来进行表示，我们 阅读全文
摘要：
散列法（Hashing）或哈希法是一种将字符组成的字符串转换为固定长度（一般是更短长度）的数值或索引值的方法，称为散列法，也叫哈希法。由于通过更短的哈希值比用原始值进行数据库搜索更快，这种方法一般用来在数据库中建立索引并进行搜索，同时还用在各种解密算法中。1）余数法：先估计整个哈希表中的表项目数目大小。然后用这个估计值作为除数去除每个原始值，得到商和余数。用余数作为哈希值。因为这种方法产生冲突的可能性相当大，因此任何搜索算法都应该能够判断冲突是否发生并提出取代算法。 2）折叠法：这种方法是针对原始值为数字时使用，将原始值分为若干部分，然后将各部分叠加，得到的最后四个数字（或者取其他位数的... 阅读全文
摘要：
Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员，这种检测只会对在集合内的数据错判，而不会对不是集合内的数据进行错判，这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情况，可见 Bloom filter 是牺牲了正确率换取时间和空间。 如需要判断一个元素是不是在一个集合中，我们通常做法是把所有元素保存下来，然后通过比较知道它是不是在集合内，链表、树都是基于这种思路，当集合内元素个数的变大，我们需要的空间和时间都线性变大，检索速度也越来... 阅读全文