摘要：
安装了ubuntu后，用scp命令从另外一台电脑上复制文件过来，没有执行权限，查看执行文件的目录，文件所有者全部是root/root, 原来scp是sudo状态下操作的，所以复制过来的文件都属于root, 再用feixiang用户下去执行，肯定没有权限。在修改系统文件前，要养成backup的习惯，多么痛的领悟。 阅读全文
2014年3月28日 #
2014年3月24日 #
2014年3月20日 #
摘要：
map-reduce的优化：需要内存的地方： map/reduce任务运行时内存、存放中间数据的内存缓存区、map输出数据排序内存，需要操作磁盘的地方： map输出数据缓冲区达到阀值的溢出写文件， map缓冲区满写磁盘，map最后输出写磁盘， shuffle复制map输出的数据缓冲区阀值的溢出写文件，reduce读输入磁盘， 这些都是中间阶段对磁盘的操作。运行内存越大，运行速度越快； 中间数据越多，即缓冲区越大，读磁盘和写磁盘的次数越少，所以，这是个辩证的过程。如果运行需要的内存少，可以将缓冲区设置大一些。任务jvm重用， 当运行一个任务的时候，首先会先启动一个jvm，启动时间大概为一秒， 然 阅读全文
摘要：
hadoop的 map-red就是一个并行计算平台，我们在使用这个平台的时候，要做的事情就是提交自己定制的任务（job，主要定制map类，reduce类，combine类等类）,然后设置job的各种参数，比如设置mappe/reducer/combine类， 输入数据路径，输出数据路径，输出格式。然后可以根据日志或者web页面查看任务执行的情况，如果错误，通过web页面查看日志。对于map-red平台，我们可以设置各种参数，来使得我们提交的任务的执行效率得到优化，比如多少个reducer任务，分片大小等。map-red的执行过程，首先分片由hadoop来完成，hadoop将完成的分片交给一个m 阅读全文
2014年3月14日 #
摘要：
java.io.IOException:File system image contains an old layout version -18.An upgrade to version -41 is required.Please restart NameNode with -upgrade option. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:338) at org.apache.hadoop.hdfs.server.nameno... 阅读全文
摘要：
1 采用ssh无法运行eclipse， 错误如下：Autolaunch error: X11 initialization failed.\n， 打开日志文件：org.eclipse.swt.SWTError:Nomorehandles[gtk_init_check()failed] 试了vncserver等技术，还是打不开，最后只好在linux的图形界面下编程吧。http://blog.csdn.net/jasonxzy/article/details/70902472 在linux本机上输入eclipse命令也不行， 错误如下：java.lang.UnsatisfiedLinkError: 阅读全文
2014年3月7日 #
摘要：
第一次执行：drop table t purge;create table t as select * from dba_objects;set linesize 1000set autotrace on set timing onselect count(*) from tSQL> create table t as select * from dba_objects;表已创建。SQL> set timing on;SQL> set linesize 1000;SQL> set autotrace on;SQL> select count(*) from t; 阅读全文
2014年3月6日 #
摘要：
备注：本图片截图自“炼数成金”Oracle的体系结构分为内存结构、进程，磁盘文件。内存结构分为SGA, PGA。SGA是系统全局区，是所有的用户共享区，PGA是某个用户的私有区。SGA分为share pool, data buffer, log buffer.share pool又分为library cache和Data Directory cache, 主要为优化器使用。当以sql语句提交后,会进行语法分析,语法分析通过,进行语义分析,在语义分析中,会进行sql语句的删除和整理, 比如select count(*) from A order by $1, 在语义分析中会将后面order by 阅读全文
摘要：
备注：本图片截图自“炼数成金”Oracle的体系结构分为内存结构、进程，磁盘文件。内存结构分为SGA, PGA。SGA是系统全局区，是所有的用户共享区，PGA是某个用户的私有区。SGA分为share pool, data buffer, log buffer.share pool又分为library cache和Data Directory cache, 主要为优化器使用。当以sql语句提交后,会进行语法分析,语法分析通过,进行语义分析,在语义分析中,会进行sql语句的删除和整理, 比如select count(*) from A order by $1, 在语义分析中会将后面order by 阅读全文
摘要：
HBase,是Hadoop DataBase. 面向列的分布式数据库， 思想来源于Google的BigTable思想，它的目标是在廉价硬件构成的集群上管理超大规模的稀疏表。Hbase的物理结构HBase是建立在HDFS上的面上列的数据库。 由于HDFS不支持update操作，只支持delete和insert操作。所以，Hbase对表的操作也不支持update，同时也不支持delete， 只有一个insert的操作，所有的操作都是insert操作。当删除时，就是向表里面插入一行数据，并加上删除标记。update时，就向表里插入一条数据，根据时间戳来区别。Hbase的物理存储根据上图显示，和HDF 阅读全文