12 2015 档案

hadoop 动态调整mapred参数
摘要：bin/hadoop job -set-reduce-capacity job_20151126032920_1142443 1000 调成map数bin/hadoop job -set-priority job_20151126032920_1160549 VERY_HIGH ... 阅读全文

posted @ 2015-12-29 11:09 雨渐渐 阅读(1492) 评论(0) 推荐(0) 编辑

python 遍历hadoop， 跟指定列表对比 包含列表中值的取出。
摘要：import sysimport tstreefname = 'high_freq_site.list'tree = tstree.TernarySearchTrie()tree.loadData(fname)token = ''counter = 0post = []# url, count, p... 阅读全文

posted @ 2015-12-19 04:25 雨渐渐 阅读(746) 评论(0) 推荐(0) 编辑

replay的意义
摘要：数据库重放： (1) 在测试环境中重新创建实际的生产数据库工作量。 (2) 在生产中实施更改之前，确定和分析潜在的不稳定性。 (3) 捕获生产中的工作量： 阅读全文

posted @ 2015-12-16 15:04 雨渐渐 阅读(257) 评论(0) 推荐(0) 编辑

c++ 异常 warning: 'MEMORY_UNIT_NAME' defined but not used
摘要：是开关的问题 ， 将 #-g -O2 -pipe -W -Wall -Werror -fPIC -Wno-deprecated c++ 去掉。不检查。 阅读全文

posted @ 2015-12-11 17:35 雨渐渐 阅读(592) 评论(0) 推荐(0) 编辑

c++ 异常 discards qualifiers 丢弃
摘要：src/feedbackservice.cpp:76: error: passing `const ps::spider::urlreceiver::entry::ConfigManager' as `this' argument of `int ps::spider::urlreceiver::e... 阅读全文

posted @ 2015-12-08 20:25 雨渐渐 阅读(1581) 评论(0) 推荐(0) 编辑

c++ 条件变量
摘要：1.条件变量创建静态创建：pthread_cond_t cond=PTHREAD_COND_INITIALIZER;动态创建：pthread_cond _t cond; pthread_cond_init(&cond,NULL);其中的第二个参数NULL表示条件变量的属性，虽然POSIX中定义了条... 阅读全文

posted @ 2015-12-08 13:51 雨渐渐 阅读(3919) 评论(0) 推荐(0) 编辑

c++ >>
摘要：_bit = new char[(_bit_arr_length >> 3) + 1]; if (_bit == NULL) {std::cout << "malloc failed" << std::endl; _success = false;return;} memset(_bit, 0, ( 阅读全文

posted @ 2015-12-03 23:20 雨渐渐 阅读(200) 评论(0) 推荐(0) 编辑

导航