摘要:
一、TCP的流量控制1、利用滑动窗口实现流量控制 如果发送方把数据发送得过快,接收方可能会来不及接收,这就会造成数据的丢失。所谓流量控制就是让发送方的发送速率不要太快,要让接收方来得及接收。 利用滑动窗口机制可以很方便地在TCP连接上实现对发送方的流量控制。 设A向B发送数据。在连接建立时,B... 阅读全文
摘要:
没想到,在我的hadoop2.2.0小集群上上安装传说中的Spark竟然如此顺利,可能是因为和搭建Hadoop时比较像,更多需要学习的地方还是scala编程和RDD机制吧总之,开个好头原来的集群:全源码安装,包括hadoop2.2.0 hive0.13.0 hbase-0.96.2-hadoop2 ... 阅读全文
摘要:
1.VNC远程连接linux图形化桌面2.SSH Secure Shell Client连接linux终端3.设置FTP与linux传输文件1.VNC远程连接linux图形化桌面在centos下运行:yum -y instll vnc vnc-server运行完后,rpm -q vncserver ... 阅读全文
摘要:
Hama是基于HDFS上的BSP模型实现。Apache Hame是GooglePregel的开源实现 Pregel是Google提出的一个面向大规模图计算的通用编程模型。许多实际应用中都涉及到大型的图算法,典型的如网页链接关系、社交关系、地理位置图、科研论文中的引用关系等,有的图规模可达数十亿的顶... 阅读全文
摘要:
Hbase在生态系统中的位置Hbase存储的逻辑视图Hbase的存储格式Hbase写数据流程Hbase快速响应数据Hbase在生态系统中的位置 HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算... 阅读全文
摘要:
Hbase索引表的结构Hbase Rowkey 设计Hbase FilterHbase二级索引Hbase索引表的结构 在HBase中,表格的Rowkey按照字典排序,Region按照RowKey设置split point进行shard,通过这种方式实现的全局、分布式索引,成为了其成功的最大的砝码 ... 阅读全文
摘要:
索引整合事务整合存储过程整合数据库范式1.什么是事务:事务是一个不可分割的工作逻辑单元,在数据库系统上执行并发操作时事务是做为最小的控制单元来使用的。他包含的所有数据库操作命令作为一个整体一起向系提交或撤消,这一组数据库操作命令要么都执行,要么都不执行。2.事务的语句开始事物:BEGIN TRANS... 阅读全文
摘要:
1. 插入排序 原理:遍历到第N个元素的时候前面的N-1个元素已经是排序好的了,那么就查找前面的N-1个元素把这第N个元素放在合适的位置,如此下去直到遍历完序列的元素为止。 算法的复杂度也是简单的,排序第一个需要1的复杂度,排序第二个需要2的复杂度,因此整个的复杂度就是 1 + 2 + 3 +... 阅读全文
摘要:
为何出现死循环简要说明HashMap闭环的详细原因cocurrentHashMap的底层机制为何出现死循环简要说明 HashMap是非线程安全的,在并发场景中如果不保持足够的同步,就有可能在执行HashMap.get时进入死循环,将CPU的消耗到100%。 HashMap采用链表解决Hash冲突... 阅读全文
摘要:
1.程序、进程、线程的区别2. 线程的状态与生命周期3.线程的调度与优先级4.实现多线程的两种方法5.如何实现线程同步(同步和互斥的区别)6.如何实现线程之间协作(生产者-消费者模式)7.守护线程8.线程的常用方法9.什么是线程池10.死锁,如何避免11. 高级同步机制(比synchronized更... 阅读全文