摘要：
HIVE安装和配置前提Linux版本：CentOS6，JDK:1.6。已成功安装好Hadoop。Hadoop版本：0.20.2。以下只要在一个节点做，可以独立于Hadoop集群，此处我选择了之前配置的server端。已配置好JDK,HADOOP等相关配置。元数据库采用mysql,mysql中已建立hive用户，并授权。一、下载解压HIVE链接地址：http://apache.dataguru.cn/hive/hive-0.8.1/hive-0.8.1.tar.gz解压：tar -zxvf hive-0.8.1.tar.gz拷贝到hadoop目录下中：cp -r hive-0.8.1 /usr/ 阅读全文
摘要：
PIG安装与配置前提 已成功安装好Hadoop集群。 详见：http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html 以下只在一个结点做，PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。安装要求： Server节点要求。 ①已安装JDK。 ②已有HADOOP目录，并且其中的maters,slaves文件已做好配置. （最好可以直接拷贝集群中一个节点的HADOOP目录） PIG安装是比较容易的，相对于其他项目而言。（一）下载解压PIG Pig下载路径，下载0.9.2... 阅读全文
摘要：
HADOOP安装过程（一） 硬件环境此次的作业，在之前的一个成功配置的基础之上，鉴于Ubuntu的操作系统，Server的占用内存比较小，启动较快，同时为了减轻机器的负担。做了如下的选择。操作系统虚拟机安装的系统虚机数CPURAMWin7Vmware 9Ubuntu 12.04LTS Server4台I3 23106GB（二）软件环境由于Ubuntu的预装的程序较少，所以我自行安装了SSH程序，Ubuntu需要修改更新源(加快下载软件速度），这里就不具体描述了，修改/etc/apt/sources.list此更新源为163的源。Hadoop版本JDK版本SSH0.20.2jdk-6u37-li 阅读全文
摘要：
HBASE的安装前提：已成功安装好Hadoop。Hadoop版本：0.20.2以下现在一个节点做，配置好Hbase之后再拷贝到各个节点(每个节点都需要安装hbase)。一、下载解压Hbase链接地址：http://mirror.bjtu.edu.cn/apache/hbase/hbase-0.90.5/hbase-0.90.5.tar.gz注意：此处存在版本匹配问题，自行查找匹配的版本。解压：tar -zxvf hbase-0.90.5.tar.gz 拷贝到hadoop目录下中：cp -r hbase-0.90.5 /usr/hadoop/ 修改文件夹权限：chown -R hadoop:ha 阅读全文
摘要：
MYSQL设置外网访问1、授权登录到mysql中，为root进行远程访问的授权，执行下面的命令：mysql> GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "123456";mysql> flush privileges;第一句中"%"表示任何主机都可以远程登录到该服务器上访问。如果要限制只有某台机器可以访问，将其换成相应的IP即可.2.修改配置修改/etc/mysql/my.cnf，需要root用户权限。找到文件中的：bind-address=127.0.0. 阅读全文
摘要：
使用PY2EXE生成WINDOWS可执行文件前提安装有Python，版本2.X的，环境变量中已经配置好Python,可以通过命令进入Python环境。一、下载安装py2exe到Python目录 可在该连接上下载，找到对应的版本，注意32位和64位区别。http://sourceforge.net/projects/py2exe/files/py2exe/0.6.9/下载Exe文件，双击安装会默认安装到python目录下。二、创建好需要生成为exe的脚本以简单的一行为例，创建文件hello.py,输入hello。print "Hello World"三、创建setup.py脚 阅读全文
摘要：
背景在Mysql中使用存储过程。由于循环的过程中需要使用到字符，按照一些字符来循环，没有找到好的办法来循环字符。所以考虑了游标来循环。游标的好处是可以选择多个条件来循环，不限制字符还是或者没有顺序的东西。实现CREATE PROCEDURE CALSOMETHING(IN ROUND_CNT INT)BEGINDECLARE I INT;DECLARE pin_value varchar(20);DECLARE pin_cur CURSOR for select pin from prnodes; /*这个表里面记录着需要循环的数据，不连续，为字符*/DECLARE CONTINUE HAND 阅读全文
摘要：
PAGERANK的SQL版本实现前提有安装好的数据库。mysql/oracle...之类都可（此处我选用了Oracle）。对PageRank算法已有一定的了解。脚本--Table1: GoogleMatrix_b1DROP TABLE GoogleMatrix_b1;CREATE TABLE GoogleMatrix_b1(POut varchar2(20),--链出，指向别人。PIn varchar2(20),--链入，被指向的人。Weight number --权重，pin的被叫分钟数);--Table2:GoogleMatrix_b2DROP TABLE GoogleMatrix_b2; 阅读全文
摘要：
Linux下Oracle数据库的卸载、删除背景当我们的Oracle数据不想使用，或者安装的过程中有一些问题的时候，我们就需要把数据库删除。那么我们需要把可能残留的文件给删除了。（一）关闭数据库我们需要先行关闭数据库，在oracle的DBA用户模式下：shutdown immediate然后我们需要关闭掉Linux下已经开启的服务，lsnrctl stopemctlstopdbconsoleservice httpd stop（二）删除相关文件和目录删除安装目录（此处根据实际安装情况，我的目录是/opt/oracle）： rm -rf */app/oracle删除/usr/local/bin下. 阅读全文
摘要：
增加交换空间（SWAP）的大小背景在安装Oracle的时候，提示交换空间大小不通过。此处我们需要手工调整交换空间来满足交换空间的要求。步骤（一）检查可用磁盘空间 由于交换空间是建立在硬盘之上的，所以我们要选择空间足够大的区域来添加交换空间。 使用该命令来检查空间是否满足要添加的大小。df -h（二）生成对应所需大小的空文件 此处生成2G大小的空文件dd if=/dev/zero of=/opt/image/swap bs=1024 count=2048000（三）创建交换文件mkswap /opt/image/swap（四）启用交换空间mkswap /opt/image/swap（五)让... 阅读全文
摘要：
CentOS端口的开放及关闭问题：打开一些常用程度对Centos连接的时候配置没有问题，但是连接不上。原因：端口不放行的原因主要就是来自于防火墙的阻挡，所以直接关闭防火墙就能解决端口不通的问题，但是这样的解决方案明显是非常不好的。以下是对/etc/init.d/iptables的操作(iptables可以等同成/etc/init.d/iptables)①防火墙的关闭sudo service iptables stop②防火墙状态查询sudo service iptables status③重启防火墙sudo service iptables restart④启动防火墙sudo service 阅读全文
摘要：
MYSQL的一些基础设置一、MYSQL基本密码设置①初始化设置密码 用root 进入mysql后，前提密码没有配置 #mysql -u root mysql>set password =password('PASSWORD'); mysql>flush privileges;②使用GRANT语句修改密码,仅提供本地连接的权限 mysql>grant all on *.* to 'root'@'localhost' IDENTIFIED BY 'PASSWORD'; mysql>flush privilege 阅读全文
摘要：
Can't start new thread解决方案（设置线程上限）背景：在编写一个爬虫的时候，检查用多线程来检测结果有效性的时候，线程启动过多报错：thread.error: can't start new thread方案：使用Thread中的event,并进行上锁设置来解决。原因：这个是由于每台计算机能进行的并行是有上限的，经过测试本机的上限为1023个左右（win7 64位，i3 2核4线程），可以进行设置提高上限，但我觉得此处没有必要，也不方便扩展，所以想自行定义一个并行的上限数进行处理。参考：在多次百度无果之后，选择了google，查看了国外的一些评论和解决方案，在 阅读全文