Kid_Zora - 博客园

hadoop2.6.5安装（一）

摘要： hadoop2.6.5安装（二）是完全分布式安装的基本配置，该文属于前期学习的踩雷笔记。系统：CentOS 6.5 软件包：hadoop2.6.5 、jdk8 一、ssh-keygen生成密钥，并加入授权： 1 [hadoop@hadoop26 ~]$ cd ~/.ssh/ 2 [hadoop@ 阅读全文

posted @ 2018-03-07 11:33 Kid_Zora 阅读(706) 评论(0) 推荐(0) 编辑

hadoop_note1

摘要： hadoop 理论 1.hadoop包括以下几个方面： mapreduce 代码 hdfs hadoop的文件系统，为分布式存储 pig 语言，插件 hbase hive 关系型数据库的sql，也成为sql like sqoop 插件，可以实现hadoop与关系型数据库之间的数据传输 2.googl 阅读全文

posted @ 2018-03-07 11:19 Kid_Zora 阅读(132) 评论(0) 推荐(0) 编辑

磁盘IO的问题--（深入浅出笔记）

摘要：磁盘IO问题磁盘IO是不可避免的，除去减少或延缓磁盘操作，也需要尽量的增强磁盘IO性能和吞吐量。 1.磁盘阵列 redundant array of indexpensive disks 廉价磁盘冗余阵列。常见的磁盘阵列有 raid0、 raid1、 raid01 、raid10 、raid5、阅读全文

posted @ 2018-03-06 14:45 Kid_Zora 阅读(939) 评论(0) 推荐(0) 编辑

innodb_log&并发参数设置--（深入浅出读书笔记）

摘要： ==innodb log== 1.redo log 更新数据的时候，innodb内部的操作流程大致是： 1》将数据读入innodb buffer pool，并对相关记录加独占锁； 2》将undo信息写入undo表空间的回滚段中； 3》更改缓存页中的数据，并将更新记录写入redo buffer 4》提阅读全文

posted @ 2018-03-06 14:31 Kid_Zora 阅读(279) 评论(0) 推荐(0) 编辑

innodb内存优化--（深入浅出读书笔记）

摘要： Innodb内存优化 1.innodb用一块内存区做IO缓存池，缓存索引块+数据块；缓存池逻辑上由free list空闲缓存块列表、flush list刷新到磁盘的缓存块列表、LRU list（innodb正在使用的缓存块，buffer pool 的核心）组成； 2.对于较大的缓存池，适当增大此参数阅读全文

posted @ 2018-03-06 10:24 Kid_Zora 阅读(169) 评论(0) 推荐(0) 编辑

MySQL锁--(深入浅出读书笔记)

摘要： MySQL锁的概述 1.针对不同的引擎，采用不同的锁机制；（表锁，页面锁，行锁） myisam和memory存储引擎：表级锁； BOB存储引擎：页面锁，表级锁； innodb存储引擎：行级锁（默认），表级锁； 2.三种锁的特性：开销、加锁速度、死锁、粒度、并发性能表级锁：开销小，加锁快；不会阅读全文

posted @ 2018-03-05 16:28 Kid_Zora 阅读(219) 评论(0) 推荐(0) 编辑

可优化的报表库

摘要：在业务中涉及到汇总各项数据，图表数据展示等功能的时候，自然缺少不了report。由于报表库，表的字段长度，数据量都是目前业务中最大的一个模块，所以慢sql的优化是需要一直要去做的，并且在实践中总结经验和教训，尽可能的提出最优方案。 Attention：报表出现过一个字段长度过长而无法增加某一字段v 阅读全文

posted @ 2018-03-02 14:17 Kid_Zora 阅读(269) 评论(0) 推荐(0) 编辑

MySQL 唯一性索引（null的特殊性）

摘要：写在最前面：表设计需要注意的事项：唯一性索引的字段中，不建议使用字符型,也建议设置默认不为空。（not null）违反注意事项，可能出现如下的问题：某张表uni_test 的表结构： 1 CREATE TABLE `uni_test ` ( 2 `id` BIGINT(20) NOT NULL 阅读全文

posted @ 2018-02-05 11:46 Kid_Zora 阅读(7102) 评论(0) 推荐(0) 编辑

tar -zxvf解压报错

摘要： tar解压过程中出现的错误： [root@hadoop26 java]# tar -zxvf jdk-8u141-linux-x64.tar.gz gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is n 阅读全文

posted @ 2018-02-01 17:50 Kid_Zora 阅读(736) 评论(0) 推荐(0) 编辑

MySQL千万级大表优化策略

摘要：优化的顺序（是根据MySQL优化的效果和优化所需的成本）第一优化你的sql和索引； sql中的一些in、join等子查询效率完全可以用表连接来代替；索引一般是根据sql语句来建立，并且最好和主键或者用户常用的条件相关。第二做归档，可以根据表数据的业务类型进行归档。也可以看做是表的数据条数拆阅读全文

posted @ 2018-01-12 15:59 Kid_Zora 阅读(231) 评论(0) 推荐(0) 编辑