Coolc - 博客园

2019年7月14日

摘要： Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题(2个) NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker 阅读全文

posted @ 2019-07-14 12:45 Coolc 阅读(825) 评论(0) 推荐(0) 编辑

HDFS存储与架构

摘要： HDFS存储模型以字节形式存储文件线性切割成块（Block）:偏移量 offset （byte） Block分散存储在集群节点中单一文件Block大小一致，文件与文件可以不一致 Block可以设置副本数，副本无序分散在不同节点中副本数不要超过节点数量文件上传可以设置Block大小和副本数（阅读全文

posted @ 2019-07-14 12:29 Coolc 阅读(1184) 评论(0) 推荐(0) 编辑

HDFS读写流程

摘要： HDFS写流程 Client 切分文件Block 按Block线性和NN获取DN列表（副本数）验证DN列表后以更小的单位流式传输数据各节点，两两通信确定可用 Block传输结束后 DN向NN汇报Block信息 DN向Client汇报完成 Client向NN汇报完成获取下一个Block存放的DN 阅读全文

posted @ 2019-07-14 12:26 Coolc 阅读(206) 评论(0) 推荐(0) 编辑

2019年7月13日

Hadoop初识

摘要： Hadoop的思想之源 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。数据存储和计算难题大量的网页怎么存储搜索算法（倒排索引的计算）阅读全文

posted @ 2019-07-13 12:35 Coolc 阅读(187) 评论(0) 推荐(0) 编辑

2019年6月20日

大数据学习参考博客

摘要： https://www.cnblogs.com/qingyunzong/category/1169344.html 阅读全文

posted @ 2019-06-20 19:57 Coolc 阅读(90) 评论(0) 推荐(0) 编辑

2019年5月13日

HTML

摘要： HTML初识 html是什么？ html结构 html标签格式html语法常用标签 <!DOCTYPE>标签 <head>标签内常用的标签<meta>标签非meta标签 <body>标签内常用标签基本标签（块级标签和内联标签）图形标签: <img> 超链接标签(锚标签): <a> </a> 列阅读全文

posted @ 2019-05-13 19:04 Coolc 阅读(137) 评论(0) 推荐(0) 编辑

2019年2月21日

mysql 表完整性约束

摘要：约束关键字 not null与default 是否可空，null表示空，非字符串，not null - 不可空，null - 可空；default默认值，创建列时可以指定默认值，当插入数据时如果未主动设置，则自动添加默认值 mysql> create table student( -> name v 阅读全文

posted @ 2019-02-21 16:05 Coolc 阅读(170) 评论(0) 推荐(0) 编辑

2019年2月18日

mysql 多表查询

摘要：查询数据表多表连接查询交叉连接：不适用任何匹配条件，生成笛卡尔积。内连接：只连接匹配的行外链接外链接之左连接：优先显示左表全部记录外链接之右连接：优先显示右表全部记录全外连接：显示左右两个表全部记录是在内连接的基础上增加左边有右边没有的和右边有左边没有的结果但是注意：mysql不支持阅读全文

posted @ 2019-02-18 14:48 Coolc 阅读(163) 评论(0) 推荐(0) 编辑

2019年2月15日

mysql 数据记录操作（单表）

摘要：插入数据INSERT 更新数据UPDATE 删除数据DELETE 查询数据SELECT #定义示例表 company.employee 员工id id int 姓名 emp_name varchar 性别 sex enum 年龄 age int 入职日期 hire_date date 岗位 post 阅读全文

posted @ 2019-02-15 15:00 Coolc 阅读(615) 评论(0) 推荐(0) 编辑

mysql 表操作

摘要：表创建查看表结构表字段修改表复制删除表阅读全文

posted @ 2019-02-15 13:38 Coolc 阅读(174) 评论(0) 推荐(0) 编辑

cook

公告