摘要:常规的: 1、过早的过滤字段、只选用需要的列、要加分区 2、join 小表放左边 set hive.exec.reducers.max=200; set mapred.reduce.tasks= 200; 增大Reduce个数 set hive.groupby.mapaggr.checkinterv 阅读全文
对于分布式数据处理系统的性能问题
2015-10-28 12:35 by breece, 133 阅读, 0 推荐, 收藏, 编辑
摘要:http://sortbenchmark.org/ 公布了多侧面多角度的评价结果。 阅读全文
ipsec配置
2015-10-28 11:55 by breece, 296 阅读, 0 推荐, 收藏, 编辑
摘要:vim /etc/vpnc.confvpnc-connect然后输入ip,group name,group pwd,user name,user pwdvpnc-disconnectIPSec gateway ****IPSec secret ipseckeyIPSec ID ipseckeyXau... 阅读全文
linux常用命令
2015-10-28 11:32 by breece, 147 阅读, 0 推荐, 收藏, 编辑
摘要:#网络route add -net 192.168.1.0 netmask 255.255.255.0 gw 192.168.30.1route add default gw 10.0.0.1 dev eth1#进程ps -ef | grep 'run.py' | grep -v grep | aw... 阅读全文
算法应用商店—Algorithmia
2015-10-28 11:17 by breece, 867 阅读, 0 推荐, 收藏, 编辑
摘要:intruduction:算法统治互联网。算法决定了你用 Google 搜索的结果,算法决定了新浪微博侧栏向你展示的话题,算法决定了 Netflix 向你推荐的电影,算法决定了你 QQ 对话窗弹出的横幅广告。技术巨头花费了大量时间来研究新算法以及调整旧算法。但是有些现成的算法却罕有人知晓—那些学院的... 阅读全文
配置https
2015-10-28 11:14 by breece, 312 阅读, 0 推荐, 收藏, 编辑
摘要:(1)先按装mod_sslyum install mod_ssl完毕后在/etc/httpd/conf.d/下会有一个ssl.conf的文件,打开主要是看下证书及密钥的位置SSLCertificateFile/etc/pki/tls/certs/localhost.crtSSLCertificate... 阅读全文
sql语句
2015-10-28 11:08 by breece, 159 阅读, 0 推荐, 收藏, 编辑
摘要:mysql -h host -u user -p;load data local infile '/path/pet.txt' into table pet lines terminated by '\r\n';insert into pet values('Puffball','Diane','h... 阅读全文
jquery
2015-10-28 10:58 by breece, 135 阅读, 0 推荐, 收藏, 编辑
摘要:#隐藏、显示$("p").hide()$("p").show()$("p").hide(1000)$("p").toggle()#淡入淡出$("#div1").fadeIn()$("#div2").fadeIn("slow")$("#div3").fadeIn(3000)$("#div1").fad... 阅读全文
dos命令
2015-10-28 10:55 by breece, 136 阅读, 0 推荐, 收藏, 编辑
摘要:ifconfig /releaseifconfig /renew net start mysql 启动mysqlnet stop mysql 停止mysqlcalc 启动计算器telnet 10.0.0.99 8081 阅读全文
longitudinal model
2014-07-26 11:40 by breece, 345 阅读, 0 推荐, 收藏, 编辑
摘要:1.读数据 excel文件 1.library(RODBC);z<-odbcConnectExcel("weather.xls");(w<-sqlFetch(z,"Sheet1"));odbcClose(z); 选择文件: data=odbcConnectExcel(file.choose());显示文件信息:sqlTables(data); 2.文件另存为prn格式;w<-read.table(... 阅读全文