随笔分类 -  开发经验

软件开发中的经验与方法
Storm中Spout使用注意事项小结
摘要:Storm中Spout用于读取并向计算拓扑中发送数据源,最近在调试一个topology时遇到了系统qps低,处理速度达不到要求的问题,经过排查后发现是由于对Spout的使用模式不当导致的多线程同步等待。这里罗列几点个人觉得编写Spout代码时需要特别注意的地方。 阅读全文

posted @ 2014-05-27 16:05 大圆那些事 阅读(23471) 评论(1) 推荐(0) 编辑

Linux服务器Cache占用过多内存导致系统内存不足问题的排查解决(续)
摘要:这里记录一次Linux服务器内存吃紧问题的排查与解决过程。 阅读全文

posted @ 2013-12-17 14:46 大圆那些事 阅读(29278) 评论(1) 推荐(1) 编辑

Linux服务器Cache占用过多内存导致系统内存不足问题的排查解决
摘要:这里记录一次Linux服务器内存吃紧问题的排查与解决过程。 阅读全文

posted @ 2013-12-10 15:38 大圆那些事 阅读(73212) 评论(13) 推荐(4) 编辑

HBase在单Column和多Column情况下批量Put的性能对比分析
摘要:针对HBase在单column family单column qualifier和单column family多column qualifier两种场景下,分别批量Put写入时的性能对比情况,下面是结合HBase的源码来简单分析解释这一现象。 阅读全文

posted @ 2013-11-28 17:42 大圆那些事 阅读(17130) 评论(2) 推荐(2) 编辑

WordPress主题文件UTF-8 BOM带来的问题及解决方法
摘要:最近在Windows下修改一个WordPress主题时,以UTF-8 BOM格式保存文件,后来导致网站页面在IE下出现无法居中显示等问题。下面是具体的排查和解决过程,留作日后参考。 阅读全文

posted @ 2013-05-29 11:56 大圆那些事 阅读(1346) 评论(0) 推荐(0) 编辑

数据迁移工具Sqoop和DataX功能比较
摘要:最近由于项目需要,对Apache Sqoop和Taobao DataX工具进行了调研,这里是对二者功能的初步梳理,不会涉及技术细节和使用方法,留作日后选型参考。 阅读全文

posted @ 2013-04-29 10:34 大圆那些事 阅读(21356) 评论(3) 推荐(0) 编辑

HiveServer2连接ZooKeeper出现Too many connections问题的解决
摘要:HiveServer2支持多客户端的并发访问,使用ZooKeeper来管理Hive表的读写锁。实际环境中,遇到了HiveServer2连接ZooKeeper出现Too many connections的问题,这里是对这一问题的排查和解决过程。 阅读全文

posted @ 2013-03-23 14:44 大圆那些事 阅读(11018) 评论(3) 推荐(1) 编辑

Hadoop Capacity Scheduler配置使用记录
摘要:这里参考Capacity Scheduler Guide,结合自己的实践经验,对Capacity Scheduler的主要配置参数进行总结。 阅读全文

posted @ 2013-03-22 23:10 大圆那些事 阅读(2591) 评论(0) 推荐(0) 编辑

GZIP、LZO、Zippy/Snappy压缩算法应用场景小结
摘要:GZIP、LZO、Zippy/Snappy是常用的几种压缩算法,各自有其特点,因此适用的应用场景也不尽相同。这里结合相关工程实践的情况,做一次小结。 阅读全文

posted @ 2012-12-24 10:30 大圆那些事 阅读(54202) 评论(11) 推荐(2) 编辑

Storm常见问题及解决方法收集【持续更新中】
摘要:以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理,其中部分问题的解决方法来自于网络,由于已找不到原始链接,抱歉这里没有逐一列举。 阅读全文

posted @ 2012-11-23 10:08 大圆那些事 阅读(19327) 评论(3) 推荐(3) 编辑

HBase Thrift 接口的一些使用问题及相关注意事项
摘要:HBase对于非Java语言提供了Thrift接口支持,这里结合对HBase Thrift接口(HBase版本为0.92.1)的使用经验,总结其中遇到的一些问题及其相关注意事项。 阅读全文

posted @ 2012-11-11 23:21 大圆那些事 阅读(12407) 评论(0) 推荐(1) 编辑

HBase解决Region Server Compact过程占用大量网络出口带宽的问题
摘要:HBase集群(版本为0.94.0)运行过程中,发现5台Region Server的网络出口带宽经常维持在100MB/s以上,接近到网卡的极限;同时Region Server的机器load负载也很高,高峰时候能够达到30~50。本文将详细描述该问题的发现及排查解决过程。 阅读全文

posted @ 2012-10-17 10:32 大圆那些事 阅读(8825) 评论(5) 推荐(0) 编辑

HBase如何合理设置客户端Write Buffer
摘要:HBase客户端API提供了Write Buffer的方式,即批量提交一批Put对象到HBase服务端。本文将结合HBase相关源码,对其进行深入介绍,分析如何在实际项目中合理设置和使用它。 阅读全文

posted @ 2012-10-16 22:17 大圆那些事 阅读(6609) 评论(4) 推荐(0) 编辑

一种实时多维数据的分析及同步系统
摘要:多维分析技术是一种被广泛应用的数据分析技术,本人在实际项目中使用开源OLAP框架Mondrian及关系型数据库MySQL,尝试设计并实现了一套多维数据的分析及同步系统,以解决现有技术对于互联网上实时流动变化数据无法进行快速有效的多维度分析的问题。这里是对该方案的详细描述。 阅读全文

posted @ 2012-10-14 22:29 大圆那些事 阅读(8184) 评论(4) 推荐(4) 编辑

MySQL系统配置参数优化总结【持续更新中】
摘要:个人在做项目过程中,曾对MySQL系统配置参数进行过一些调整与优化工作,例如,链接超时断开、SQL超过缓冲区长度限制、调整内存表大小限制等,这里将逐一进行梳理总结,以便后续遇到类似问题能够快速解决。 阅读全文

posted @ 2012-10-14 21:18 大圆那些事 阅读(1330) 评论(0) 推荐(0) 编辑

HBase存储时间相关多列数据的两种方案
摘要:所谓“时间相关多列数据”指的是同一个Key下具有多个属性数据,并且这些数据与时间具有相关性,多数场景是该Key对应在不同时间时刻的行为数据。在实际应用中,这类数据很多,例如电子商务网站上用户最近一段时间浏览的宝贝集合、访问的URL列表等。使用HBase存储此类数据时,有以下两种常用的方案。 阅读全文

posted @ 2012-09-28 14:06 大圆那些事 阅读(12073) 评论(2) 推荐(2) 编辑

HBase常见问题答疑解惑【持续更新中】
摘要:本文对HBase开发及使用过程中遇到过的常见问题进行梳理总结,希望能解答新加入的HBaser们的一些疑惑。 阅读全文

posted @ 2012-09-08 11:51 大圆那些事 阅读(7949) 评论(3) 推荐(1) 编辑

HTable和HTablePool使用注意事项
摘要:HTable和HTablePool都是HBase客户端API的一部分,可以使用它们对HBase表进行CRUD操作。下面结合在项目中的应用情况,对二者使用过程中的注意事项做一下概括总结。 阅读全文

posted @ 2012-07-11 16:40 大圆那些事 阅读(20719) 评论(4) 推荐(2) 编辑

Apache+PHP环境上传大文件的相关配置选项
摘要:近期在做一个基于LAMP体系的项目,在系统测试阶段发现了Apache+PHP无法成功上传大文件的问题,于是百度、google一顿搜后,发现原来是PHP配置的原因。这里记录水文一篇,留作日后遇到类似问题参考使用,避免二次检索做无用功。 阅读全文

posted @ 2012-03-03 23:17 大圆那些事 阅读(3094) 评论(0) 推荐(0) 编辑

HBase在数据统计应用中的使用心得
摘要:由于项目开发的需要,使用HBase作为数据统计应用的存储系统,这里是一些经验总结以及对于使用过程中存在问题的解决思路。 阅读全文

posted @ 2011-11-19 23:56 大圆那些事 阅读(26410) 评论(8) 推荐(0) 编辑

导航