2019年7月14日
Hadoop-2.x-HDFS
摘要： Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题(2个) NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker 阅读全文
posted @ 2019-07-14 12:45 Coolc 阅读(835) 评论(0) 推荐(0) 编辑
HDFS存储与架构
摘要： HDFS存储模型 以字节形式存储 文件线性切割成块（Block）:偏移量 offset （byte） Block分散存储在集群节点中 单一文件Block大小一致，文件与文件可以不一致 Block可以设置副本数，副本无序分散在不同节点中 副本数不要超过节点数量 文件上传可以设置Block大小和副本数（ 阅读全文
posted @ 2019-07-14 12:29 Coolc 阅读(1191) 评论(0) 推荐(0) 编辑
HDFS读写流程
摘要： HDFS写流程 Client 切分文件Block 按Block线性和NN获取DN列表（副本数） 验证DN列表后以更小的单位流式传输数据 各节点，两两通信确定可用 Block传输结束后 DN向NN汇报Block信息 DN向Client汇报完成 Client向NN汇报完成 获取下一个Block存放的DN 阅读全文
posted @ 2019-07-14 12:26 Coolc 阅读(209) 评论(0) 推荐(0) 编辑
2019年7月13日
Hadoop初识
摘要： Hadoop的思想之源 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 数据存储和计算难题 大量的网页怎么存储 搜索算法（倒排索引的计算） 阅读全文
posted @ 2019-07-13 12:35 Coolc 阅读(189) 评论(0) 推荐(0) 编辑
2019年6月20日
大数据学习参考博客
摘要： https://www.cnblogs.com/qingyunzong/category/1169344.html 阅读全文
posted @ 2019-06-20 19:57 Coolc 阅读(91) 评论(0) 推荐(0) 编辑
2019年5月13日
HTML
摘要： HTML初识 html是什么？ html结构 html标签格式html语法 常用标签 <!DOCTYPE>标签 <head>标签内常用的标签<meta>标签 非meta标签 <body>标签内常用标签基本标签（块级标签和内联标签） 图形标签: <img> 超链接标签(锚标签): <a> </a> 列 阅读全文
posted @ 2019-05-13 19:04 Coolc 阅读(137) 评论(0) 推荐(0) 编辑
2019年2月21日
mysql 表完整性约束
摘要： 约束关键字 not null与default 是否可空，null表示空，非字符串，not null - 不可空，null - 可空；default默认值，创建列时可以指定默认值，当插入数据时如果未主动设置，则自动添加默认值 mysql> create table student( -> name v 阅读全文
posted @ 2019-02-21 16:05 Coolc 阅读(172) 评论(0) 推荐(0) 编辑
2019年2月18日
mysql 多表查询
摘要： 查询数据表 多表连接查询 交叉连接：不适用任何匹配条件，生成笛卡尔积。 内连接：只连接匹配的行 外链接 外链接之左连接：优先显示左表全部记录 外链接之右连接：优先显示右表全部记录 全外连接：显示左右两个表全部记录 是在内连接的基础上增加左边有右边没有的和右边有左边没有的结果但是注意：mysql不支持 阅读全文
posted @ 2019-02-18 14:48 Coolc 阅读(166) 评论(0) 推荐(0) 编辑
2019年2月15日
mysql 数据记录操作（单表）
摘要： 插入数据INSERT 更新数据UPDATE 删除数据DELETE 查询数据SELECT #定义示例表 company.employee 员工id id int 姓名 emp_name varchar 性别 sex enum 年龄 age int 入职日期 hire_date date 岗位 post 阅读全文
posted @ 2019-02-15 15:00 Coolc 阅读(619) 评论(0) 推荐(0) 编辑
mysql 表操作
摘要： 表创建 查看表结构 表字段修改 表复制 删除表 阅读全文
posted @ 2019-02-15 13:38 Coolc 阅读(176) 评论(0) 推荐(0) 编辑
下一页