2017 年 6月 2 日随笔档案 - 盈叶有香

2017年6月2日

摘要：目录一、MapReduce/Hadoop 1.编程模型 2.系统实现 3.典型算法二、Microsoft Dryad （本文为陈世敏老师课程笔记）一、MapReduce/Hadoop Google 2014年推出。 1.编程模型整体思路：程序员串行写程序，系统分布式并行完成，但要有很多限制阅读全文

posted @ 2017-06-02 21:10 盈叶有香阅读(352) 评论(0) 推荐(0) 编辑

大数据运算系统二_同步图运算、异步图运算

摘要：目录一、同步图计算 1.图算法 2.同步图计算 3.系统实现二、异步图计算 1.数据模型 2.计算过程（本文为陈世敏老师课程笔记）一、同步图计算 1.图算法 PageRank:随机游走模拟网页浏览得到网页重要度排名，从1/N初始化，直到公式收敛（1-d）/n是任意跳转的概率，后面的邻居通过阅读全文

posted @ 2017-06-02 21:06 盈叶有香阅读(1152) 评论(0) 推荐(0) 编辑

大数据存储系统三_Document store、图存储系统

摘要：目录一、Document Store 1.数据模型 1.1 Json 1.2 Google Protocol Buffer 2.MongoDB 2.1 API and Query Model 2.2 Architecture 二、图存储系统 1.图数据模型 2.Neo4j 3.RDF和Sparql 阅读全文

posted @ 2017-06-02 18:32 盈叶有香阅读(617) 评论(0) 推荐(0) 编辑

大数据存储系统二_key value store、Distributed Coordination

摘要： key value store、Distributed Coordination 阅读全文

posted @ 2017-06-02 18:24 盈叶有香阅读(474) 评论(0) 推荐(0) 编辑

大数据存储系统一_分布式系统、分布式文件系统、HDFS

摘要：目录一、分布式系统基本概念 1.网络通信协议 2.通信方式 3.分布式系统类型 4.故障类型 5.CAP 二、分布式文件系统 1.NFS 2.AFS 三、google File System \HDFS （本文为陈世敏老师的课程笔记）一、分布式系统基本概念 1.网络通信协议 1.1 OSI模型阅读全文

posted @ 2017-06-02 15:00 盈叶有香阅读(591) 评论(0) 推荐(0) 编辑

关系型数据库管理三_事务处理、数据仓库、分布式数据库

摘要：目录一、事务处理 1.ACID 2.Concurrency Control并发控制 3.Crash Recovery 崩溃恢复保证Durability 二、数据仓库 1.OLPA 2.行式与列式数据库三、分布式数据库（本文是中科院陈世敏老师课程学习笔记）一、事务处理 1.ACID 数据库事阅读全文

posted @ 2017-06-02 14:54 盈叶有香阅读(622) 评论(0) 推荐(0) 编辑

关系型数据管理系统二_数据库系统与数据存储访问

摘要：目录一、数据库系统架构二、数据存储与访问 1.数据库与文件系统对比总结 2.存储单位 2.1 硬盘 2.2 文件系统 2.3 RDSBM 3.访问策略 3.1 顺序访问 3.2 Indexing 3.3 Buffer Pool 3.4 join运算三种Query Plan （本文是中科院陈世敏老阅读全文

posted @ 2017-06-02 14:30 盈叶有香阅读(284) 评论(0) 推荐(0) 编辑

关系型数据管理系统一 _SQL概念与操作

摘要：目录一、几个定义注意点二、SQL操作语句备忘录三、补充SQL约束（本文是中科院陈世敏老师课程学习笔记）一、几个定义注意点 1.Scheme 对表格每一列的类型声明，只需定义一次 eg:新建表格定义scheme create table Student ( ID integer, Name 阅读全文

posted @ 2017-06-02 14:13 盈叶有香阅读(342) 评论(0) 推荐(0) 编辑

盈叶有香

公告