摘要： HIVE安装和配置前提Linux版本：CentOS6，JDK:1.6。已成功安装好Hadoop。Hadoop版本：0.20.2。以下只要在一个节点做，可以独立于Hadoop集群，此处我选择了之前配置的server端。已配置好JDK,HADOOP等相关配置。元数据库采用mysql,mysql中已建立hive用户，并授权。一、下载解压HIVE链接地址：http://apache.dataguru.cn/hive/hive-0.8.1/hive-0.8.1.tar.gz解压：tar -zxvf hive-0.8.1.tar.gz拷贝到hadoop目录下中：cp -r hive-0.8.1 /usr/ 阅读全文

摘要： CentOS端口的开放及关闭问题：打开一些常用程度对Centos连接的时候配置没有问题，但是连接不上。原因：端口不放行的原因主要就是来自于防火墙的阻挡，所以直接关闭防火墙就能解决端口不通的问题，但是这样的解决方案明显是非常不好的。以下是对/etc/init.d/iptables的操作(iptables可以等同成/etc/init.d/iptables)①防火墙的关闭sudo service iptables stop②防火墙状态查询sudo service iptables status③重启防火墙sudo service iptables restart④启动防火墙sudo service 阅读全文

摘要： MYSQL的一些基础设置一、MYSQL基本密码设置①初始化设置密码 用root 进入mysql后，前提密码没有配置 #mysql -u root mysql>set password =password('PASSWORD'); mysql>flush privileges;②使用GRANT语句修改密码,仅提供本地连接的权限 mysql>grant all on *.* to 'root'@'localhost' IDENTIFIED BY 'PASSWORD'; mysql>flush privilege 阅读全文

摘要： Can't start new thread解决方案（设置线程上限）背景：在编写一个爬虫的时候，检查用多线程来检测结果有效性的时候，线程启动过多报错：thread.error: can't start new thread方案：使用Thread中的event,并进行上锁设置来解决。原因：这个是由于每台计算机能进行的并行是有上限的，经过测试本机的上限为1023个左右（win7 64位，i3 2核4线程），可以进行设置提高上限，但我觉得此处没有必要，也不方便扩展，所以想自行定义一个并行的上限数进行处理。参考：在多次百度无果之后，选择了google，查看了国外的一些评论和解决方案，在 阅读全文