12 2013 档案
快速搭建YUM源和yum使用
摘要:yum是一种便捷,快速的RPM包安装方法,可以避免很多包的关联性,但RedHat的YUM源,不是免费的,需要他们的RHN才能够用,而CentOS得yum是免费的,由于CentOS和RedHat相似度高,所以很多人直接把CentOS的源,复制到RedHat里,这也是一种可取的办法,当然这种yum源都在...
阅读全文
AliRedis单机180w QPS, 8台服务器构建1000w QPS Cache集群(转)
摘要:http://blog.sina.com.cn/s/blog_e59371cc0101br74.html引言: 如今redis凭借其高性能的优势, 以及丰富的数据结构作为cache已越来越流行, 逐步取代了memcached等cache产品, 在Twitter,新浪微博中广泛使用,阿里巴巴同样如此.redis已经占据了其不可动摇的地位, 然而在实际的生产环境中, redis也暴露出一些其他问题.如性能瓶颈, 内存冗余, 运维部署复杂等. 本文目的就是分析redis现有的问题, 以及介绍阿里巴巴技术保障团队对redis的改造工作, 使其在生产环境中发挥更大的价值.原生redis的瓶颈: 1. 单
阅读全文
Mysql进程管理
摘要:mysql> show processlist;+----+------+-----------+------+---------+------+-------+------------------+| Id | User | Host | db | Command | Time | State | Info |+----+------+-----------+------+---------+------+-------+------------------+| 7 | root | localhost | yy | Sleep | 154 | | NULL | | 8 | root
阅读全文
简单实用的磁带转MP3方法图解
摘要:读完这篇文章,然后在看看文章的最后部分。[图文]磁带转Mp3教程来源:作者:netseeker一、工具1.音频线一条。在一般的电器铺都能买到,8-15元不等,两头的接口是一样的,可以混用。2.卡式磁带收录机一台,一定要带有音频输出接口(耳机接口)。3.电脑一台,最好是声卡有三个接口的。二、连接收录机和电脑用音频线连接收录机的“音频输出”接口和电脑的“线路输入”接口。如下图所示,“线路输入”接口一般是蓝色的,箭头符号指向内部表示信号输入,如果是文字标记,一般写作"LineIn"。如果所用的电脑只有两个音频接口,使用“麦克风”接口。说明:台式机一般在正面只有两个接口,而后面有三
阅读全文
使用log4j的邮件功能
摘要:Log4j的邮件功能能够为我们做这样的事情----当程序运行完的时候,或者正在运行也是可以的,它将程序的日志通过邮件的方式发到你的邮箱上。 这样,对于程序运行的控制就不用每次都跑到机器上去看日志文件这么麻烦了,我们需要的只是,开开Foxmail,用用鼠标,就可以知道,程序到底运行的怎么样了。 使用log4j-1.2.15 之前用的是 log4j-1.2.8 ,照理说,它们之间的版本号的区别够小,应该没有什么区别,但是事实却让我丈二摸不着头脑。发送邮件的一个重要的类是SMTPAppender。 在1.2.8的版本中,SMTPAppender没有smtpPassword 和smtpUsername
阅读全文
hive从查询中获取数据插入到表或动态分区
摘要:Hive的insert语句能够从查询语句中获取数据,并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees(雇员信息全量表),所属国家cnty和所属州st是该表的两个属性,我们做个试验将该表中的数据查询出来插入到另一个表employees中。INSERT OVERWRITE TABLE employeesPARTITION (country = '中国', state = '北京')SELECT * FROM staged_employees seWHERE se.cnty = '中国' AND se.st =
阅读全文
map和reduce 个数的设定 (Hive优化)经典
摘要:一、 控制hive任务中的map数:1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例:a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(10m,20
阅读全文