摘要：
最近把MYSQL集群给研究了下，并做了一个测试，且成功了！现在总结如下：一、规划好节点MGM:192.168.79.135NDB1:192.168.1.79.136NDB2:192.168.1.79.139SQL1:192.168.1.79.137SQL2:192.168.1.79.138二、基础环境如下Red Hat Enterprise Linux Server release 5.4MGM包括：MySQL-Cluster-gpl-client-7.1.15a-1.rhel5.i386.rpm MySQL-Cluster-gpl-management-7.1.15a-1.rhel5.i38 阅读全文
摘要：
经过一个多月的测试MYSQL的双机同步数据还是很不错的。在家庭ADSL的4M的带宽下，有10个人在应用此网络，MYSQL数据同步还是照样正常，我想在正常的平台环境肯定更即时，效率更高！但同时需要注意思如下问题1.max_allowed_packet设置主从要一样，为什么要一样？原因如下：如果主服务器设置为10M，从服务器设置为5M，如果在主服务器上导入一个7M的数据包，那么同步机制就会出问题，因为从服务器最大为5M2.slave_compressed_protocol=true设置3.replicate-do-db最好设置只要同步的数据库名4.set global sql_slave_skip 阅读全文
摘要：
CREATE TABLE ts (id INT, purchased DATE)PARTITION BY RANGE( YEAR(purchased) )SUBPARTITION BY HASH( TO_DAYS(purchased) ) (PARTITION p0 VALUES LESS THAN (1990) (SUBPARTITION s0DATA DIRECTORY = '/disk0/data'INDEX DIRECTORY = '/disk0/idx',SUBPARTITION s1DATA DIRECTORY = '/disk1/data& 阅读全文
摘要：
悲观锁：假定会发生并发冲突，屏蔽一切可能违反数据完整性的操作，这样保证了数据的完整性，同时防止读脏，独占时间长Read锁:当前会话read时，另一会话只能读，不能写Write锁:当前会话write时，另一会话所有操作等待乐观锁：假设不会发生并发冲突，只在提交操作时检查是否违反数据完整性，保证了数据的完整性，但不能防止读脏，并发度高“ 提交版本必须大于记录当前版本才能执行更新 “ 的乐观锁策略 阅读全文
摘要：
1.在运行select count(1) from tab时，会启动hadoop的job，需要对 hdfs/tmp设置 组写权限 hadoop fs -chmod g+w /tmp 原因：Hive将HSQL解析成Hadoop的job，job在中间运行会对 hdfs/tmp操作写入操作 (2012-0... 阅读全文
摘要：
1.Hadoop架构分两部份：Map与Reduce2.Hadoop运行总体印象：第一步：Hadoop框架将输入的数据（HDFS：分布式文件系统），分割成固定大小的Splits(大小为64M)，为每一个Split创建一个Map任务用于执行程序员写的map函数。Split的格式： K->每行首字母在文件中的偏移量 V->每行的字符；如 第二步：将作为参数传递给map(由程序员自定义逻辑处理它)，map生成 K1->为每个字符 V1->出现的次数； 如 第三步：对K1进行排序；如 第四步：Combine进行组合，将结果传给reduce函数；如 第五步：reduce函数（由程序 阅读全文
摘要：
前提:eclipse与hadoop的配置成功总结:1.创建一个hadoop项目 导入hadoop包: hadoop-0.20.2-core.jar hadoop-0.20.2-ant.jar hadoop-0.20.2-tools.jar2.创建一个WordCount.java源码import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path; import org.apache.h 阅读全文
摘要：
最近一直在研究HIVE，虽说没有掌握，但有所了解！首先.Hive是基于GOOGLE的HADOOP上的一个数据仓库解决平台这个平台将数据存储在HADOOP的HDFS上把用户的SQL命令解析成HADOOP的job任务然后.说说这样的做的好处数据仓库存有大量的数据，查询，分析，统计将消耗很多的资源而Hiv... 阅读全文
摘要：
1、配置远程服务器MYSQL，并保证远程可以访问2、$HIVE_HOME/conf/hive-site.xml 关键配置如下 hive.metastore.local false controls whether to connect to remove metastore server or o... 阅读全文
摘要：
HADOOP API 主要组成包1、org.apache.hadoop.conf 源码路径: \src\core\org\apache\hadoop\conf作用：定义了系统参数的配置文件处理API2、org.apache.hadoop.fs 源码路径： \src\core\org\apache\hadoop\fs作用：定义了抽象的文件系统API3、org.apache.hadoop.hdfs 源码路径： \src\hdfs\org\apache\hadoop\hdfs作用：分布式文件系统的模块实现4、org.apache.hadoop.io 源码路径 \src\core\org\apache 阅读全文