2017年9月23日

big data science(course notes...)

摘要: 1 大数据:batch,interactive query,streaming 2 集群环境有三大挑战:分别是并行化、单点失败处理、资源共享。采用以并行化的方式重写应用程序、对单点失败的处理方式、动态地进行计算资源的分配等解决方案 3 address of any protocol control 阅读全文

posted @ 2017-09-23 22:51 satyrs 阅读(114) 评论(0) 推荐(0) 编辑

RDD(google rdd paper notes)

摘要: RDD Twister HaLoop Dryad MR Pregel.... 多个并行操作重用中间结果-抽象自动容错、位置感知性调度和可伸缩性 容错:数据检查点和记录数据的更新RDD只支持粗粒度转换,即在大量记录上执行的单个操作。将创建RDD的一系列转换记录下来(即Lineage),以便恢复丢失的分 阅读全文

posted @ 2017-09-23 22:46 satyrs 阅读(171) 评论(0) 推荐(0) 编辑

Generic Type(java)

摘要: List list = new ArrayList(); list.add("something"); list.add(100); for (int i = 0; i < list.size(); i++) { String name = (String) list.get(i); //取出Int 阅读全文

posted @ 2017-09-23 21:37 satyrs 阅读(231) 评论(0) 推荐(0) 编辑

OS-105

摘要: ch6 CPU调度 难度和重要性:调度和同步>进程>线程、死锁 进程和线程属于概念引入。调度对象需要看环境:处理器和平台。这里看调度本身,不考虑被调度对象。 基础概念;优劣标准;(key关键点)算法实现:不同情况下着重不同考虑,实时?多处理器? cpu和io。执行体在不同状态下进行切换--两块:执行 阅读全文

posted @ 2017-09-23 20:54 satyrs 阅读(280) 评论(0) 推荐(0) 编辑

OS-104

摘要: TR多个T(而非PSS,T指任务)SS实时记录寄存器 一个程序一个TSS(任务寄存器) --EAX EBX,,, 之间实时存储--上下文切换关乎硬件的解释。pc是指令的位置而非语句的位置。 TR多个T(而非PSS,T指任务)SS实时记录寄存器 一个程序一个TSS(任务寄存器) --EAX EBX,, 阅读全文

posted @ 2017-09-23 20:50 satyrs 阅读(99) 评论(0) 推荐(0) 编辑

OS-103

摘要: ch4-8 进程,线程,cpu调度,进程同步(通信),死锁deadlock 进程 依次执行 一段程度在内存中可对应若干进程 进程可创建进程(父子进程,相关联,父进程有一个新任务让子去做) os大管家,管理实体,进程是个实体进程诞生的标志:分配了内存;诞生方式:父创,命令行,双击…… 管理资源需要知道 阅读全文

posted @ 2017-09-23 20:36 satyrs 阅读(574) 评论(0) 推荐(0) 编辑

OS-102

摘要: ch3操作系统体系结构 ch3操作系统体系结构 操作系统包含的模块、模块关系;设计角度提供什么的服务给用户;编程角度考虑os接口;普通用户的基本应用…… 操作系统包含的模块、模块关系;设计角度提供什么的服务给用户;编程角度考虑os接口;普通用户的基本应用…… 1component 外存管理,io系统 阅读全文

posted @ 2017-09-23 20:16 satyrs 阅读(106) 评论(0) 推荐(0) 编辑

review of network tech

摘要: types of network LAN WAN -- figures /performances see the difference curcuit ->packet swithcing store-and-forward 2 alternative approaches to transmit 阅读全文

posted @ 2017-09-23 19:50 satyrs 阅读(110) 评论(0) 推荐(0) 编辑

DAG algorithm

摘要: shortest path s-> all other nodes × negative cycles (no shortest path) bellmanford with negative weights proof: 图中路径 至多 有|v|-1 条边,否则有循环。在无负回路中,可不走此循环以 阅读全文

posted @ 2017-09-23 18:05 satyrs 阅读(227) 评论(0) 推荐(0) 编辑

fibonacci,shortest paths(DP)

摘要: dynamic programming --weried term,no deep meaning fibonacci problem: naive >=O(2^(n/2)) memorized transformation(up-to-bottom) O(n) memorize and re-us 阅读全文

posted @ 2017-09-23 17:41 satyrs 阅读(161) 评论(0) 推荐(0) 编辑

导航