摘要：
一、创建jack表，并导入一下数据mysql> create table jack(id char(100),flwo char(100)) engine=myisam;Query OK, 0 rows affected (0.08 sec)mysql> load data infile '/u01/sqlload/taobao_9_11.txt' into table jack fields terminated by ',';Query OK, 1469199 rows affected (20.09 sec)Records: 1469199 D 阅读全文
摘要：
一、Hive将元数据存储在RDBMS中，有三种模式可以连接到数据：1、single User Mode：此模式连接到一个In-memory的数据库Derby，一般用于Unit Test。2、Multi User Mode：通过网络连接到一个数据库中，是最经常使用到的模式。3、Remote Server Mode：用于非Java客户端访问元数据库，在服务器端启动一个MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库。二、暂略三、暂略四、MySQL做元数据库模式1、解压hive的压缩包2、把mysql-connector-java-5.1.10 阅读全文
摘要：
一、集群环境： HostnameIPHadoop版本Hadoop功能系统node1192.168.1.1510.20.0namenodehive+sqooprhel5.4X86node2192.168.1.1520.20.0datanodemysqlrhel5.4X86node3192.168.1.1530.20.0datanoderhel5.4X86二、安装sqoop1、下载sqoop压缩包，并解压压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包mysql-connector-jav... 阅读全文
摘要：
一、MySQL权限简介 关于mysql的权限简单的理解就是mysql允许你做你全力以内的事情，不可以越界。比如只允许你执行select操作，那么你就不能执行update操作。只允许你从某台机器上连接mysql，那么你就不能从除那台机器以外的其他机器连接mysql。 那么Mysql的权限是如何实现的呢？这就要说到mysql的两阶段验证，下面详细介绍：第一阶段：服务器首先会检查你是否允许连接。因为创建用户的时候会加上主机限制，可以限制成本地、某个IP、某个IP段、以及任何地方等，只允许你从配置的指定地方登陆。第二阶段：如果你能连接，Mysql会检查你发出的每个请求，看你是否有足够的权限实施它。比如 阅读全文
摘要：
一、The InnoDB Engine Each InnoDB table is represented on disk by an .frm format file in the database directory,as well as data and index storage in the InnoDB tablespace.The InnoDB tablespace is a logical single storage area that is made up of one or more files or partitions on disk.By default,InnoDB 阅读全文
摘要：
一、本文说明 由于刚学mysql所以动手做了一些实验。二、实验内容1、验证MyISAM有AUOT_INCREMENT coloumn功能----在这里是对现有表t，增加一个主键----mysql> alter table t add column id1 int not null auto_increment,add primary key(id1);Query OK, 3 rows affected (0.02 sec)Records: 3 Duplicates: 0 Warnings: 0mysql> desc t;+-------+---------+------+----- 阅读全文
摘要：
一、背景 分布式的集群通常包含非常多的机器，由于受到机器槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架之间的网络速度，并且机架之间机器的网络通信常受到上层交换机间网络带宽的限制。 具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block会有多个副本(默认为3)，并且为了数据的安全和高效，所以hadoop默认对3个副本的存放策略为： 第一个block副本放在和client所在的node里(如果client不在集群范围内，则这第一个node是 阅读全文
摘要：
一、实验说明1、本实验将使用DNS而不是hosts文件解析主机名；2、使用NFS共享密钥文件，而不是逐个手工拷贝添加密钥；3、复制Hadoop时使用批量拷贝脚本而不是逐台复制。 测试环境：HostnameIPHadoop版本Hadoop功能系统hadoop1192.168.1.1610.20.0namenodenfs服务器端rhel5.4x86hadoop2192.168.1.1620.20.0datanodedns+nfs客服端rhel5.4 x86hadoop3192.168.1.1630.20.0datanodenfs客户端rhel5.4 x86二、DNS的安装与配置 1、上传dns目录 阅读全文
摘要：
一、概念部分： 顾名思义，慢查询日志中记录的是执行时间较长的query，也就是我们常说的slow query，通过设--log-slow-queries[=file_name]来打开该功能并设置记录位置和文件名，默认文件名为hostname-slow.log，默认目录也是数据目录。 慢查询日志采用的是简单的文本格式，可以通过各种文本编辑器查看其中的内容。其中记录了语句执行的时刻，执行所消耗的时间，执行用户，连接主机等相关信息。MySQL还提供了专门用来分析满查询日志的工具程序mysqlslowdump，用来帮助数据库管理人员解决可能存在的性能问题。二、slow query log相关变量 2. 阅读全文
摘要：
一、查询日志的概念： 查询日志记录MySQL中所有的query，通过"--log[=file_name]"来打开该功能。由于记录了所有的query，包括所有的select，体积比较大，开启后对性能也有比较大的影响，所以请大家慎用该功能。一般只用于跟踪某些特殊的sql性能问题才会短暂打开该功能。默认的查询日志文件名为：hostname.log. To enable the general query log as of MySQL 5.1.6,start mysqld with the --log option,and optionally use --log-ouput t 阅读全文