10 2019 档案

CDH 下 impala-shell 的使用（输出csv，中文ascii错误）

摘要：使用impala-shell 导出csv数据的命令行： impala-shell -i impalad.server -k --output_delimiter="," -B -f query.file -o output.csv 中文乱码问题： UnicodeEncodeError: 'ascii 阅读全文

posted @ 2019-10-23 11:06 爱知菜阅读(63) 评论(0) 推荐(0) 编辑

机器学习中计算优化的 Ring AllReduce

摘要：参考这篇文章： https://blog.csdn.net/dpppBR/article/details/80445569 谈一下我的理解，在GPU的机器学习过程中，传统的做法有类似MapReduce的地方，把数据分成若干个小块，每个小块在一个GPU上训练（Map），然后把训练得到的神经网络参数汇总阅读全文

posted @ 2019-10-16 11:12 爱知菜阅读(53) 评论(0) 推荐(0) 编辑

大型系统的Redis性能优化

摘要：本文为转载： https://blog.csdn.net/vcbin/article/details/53941682 问题描述系统背景：大型线上Java服务集群（活跃用户数上千万），业务重度使用Redis存储个管理Session，业务并发量>1WQPS,基本上每个请求都需要访问Redis(可能是阅读全文

posted @ 2019-10-11 18:03 爱知菜阅读(19) 评论(0) 推荐(0) 编辑