Fork me on GitHub

06 2015 档案

hbase vs mongodb
摘要：1.HBase依赖于HDFS,HBase按照列族将数据存储在不同的hdfs文件中；MongoDB直接存储在本地磁盘中,MongoDB不分列，整个文档都存储在一个（或者说一组）文件中 (存储)2.Mongodb支持二级索引，而hbase本身不支持二级索引（查询... 阅读全文
posted @ 2015-06-26 16:53 程序优化 阅读(570) 评论(0) 推荐(0)
Spark实战
摘要：1.Spark简介什么是Spark? Spark是UC BerkeleyAmp实验室开源的类Hadoop M... 阅读全文
posted @ 2015-06-24 16:07 程序优化 阅读(250) 评论(0) 推荐(0)
PowerDesigner列名、注释内容互换
摘要：http://my.oschina.net/chwencong/blog/52652 阅读全文
posted @ 2015-06-12 18:53 程序优化 阅读(100) 评论(0) 推荐(0)
ZooKeeper Watcher注意事项
摘要：zookeeper watch的定义如下：watch事件是一次性触发器，当watch监视的数据发生变化时，通知设置了该watch的client，即watcher。需要注意三点：1.一次性触发器client在一个节点上设置watch，随后节点内容改变，client将获取... 阅读全文
posted @ 2015-06-12 17:07 程序优化 阅读(494) 评论(0) 推荐(0)
架构中常见的开源模块
摘要：负载均衡: LVS（Layer 4）, HAProxy（Layer 4、 7）,Nginx（Layer 7） 虚拟化: LXC、KVM、Xen HA：Keepalived、Heartbeat 分布式缓存: Memcache, Redis 消息队列: ... 阅读全文
posted @ 2015-06-11 22:51 程序优化 阅读(143) 评论(0) 推荐(0)
Linux内存 性能调优
摘要：内存是影响Linux性能的主要因素之一，内存资源的充足与否直接影响应用系统的使用性能。free命令：监控Linux内存使用状况。由上图可知，空闲内存是free+buffers+cached=155MB一般来说如果空闲内存/物理内存>70%，内存性能优；如果小于20%，... 阅读全文
posted @ 2015-06-11 18:38 程序优化 阅读(867) 评论(0) 推荐(0)
设计模式（Design Patterns）
摘要：一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观... 阅读全文
posted @ 2015-06-11 15:43 程序优化 阅读(338) 评论(0) 推荐(0)
com.mongodb.MongoException$CursorNotFound: cursor not found on server异常处理
摘要：java链接MongoDB处理大量数据时经常碰到cursor not found 的异常,其实是超时所致Exception in thread "main" com.mongodb.MongoException$CursorNotFound: cursor not f... 阅读全文
posted @ 2015-06-11 15:35 程序优化 阅读(587) 评论(0) 推荐(0)
Every Programmer Should Know These Latency Numbers
摘要：Every Programmer Should Know These Latency Numbers1秒=1000毫秒(ms) 1秒=1,000,000 微秒(μs) 1秒=1,000,000,000 纳秒(ns) 1秒=1,000,000,000,000 皮秒(ps... 阅读全文
posted @ 2015-06-11 00:01 程序优化 阅读(144) 评论(0) 推荐(0)
ERROR: Found lingering reference file hdfs
摘要：Found lingering reference异常ERROR: Found lingering reference file hdfs://jiujiang1:9000/hbase/month_hotstatic/5af24d51488823419d1552834... 阅读全文
posted @ 2015-06-09 23:37 程序优化 阅读(966) 评论(0) 推荐(0)
There is an overlap in the region chain修复
摘要：ERROR: (region day_hotstatic,860010-2355010000_20140417_12_entry_00000000321,1400060700465.fda3b0aca340570aeb64410c97e3cb73.) Multiple... 阅读全文
posted @ 2015-06-09 23:34 程序优化 阅读(731) 评论(0) 推荐(0)
There is an overlap in the region chain
摘要：ERROR: (regions day_hotstatic,860010-2355010000_20140417_12_entry_00000000321,1398674475358.0dc205736ec1e890bd2d37a2e3220acc. and day_... 阅读全文
posted @ 2015-06-09 23:31 程序优化 阅读(850) 评论(0) 推荐(0)
region xx not deployed on any region server
摘要：ERROR: Region { meta => month_hotstatic,860010-2288000000_201405_5_exit_00000047486,1400144486405.e737a0d96930d3ad31fbcf796c9b8a08., h... 阅读全文
posted @ 2015-06-09 23:27 程序优化 阅读(1897) 评论(0) 推荐(0)
Error in deleting blocks.
摘要：2014-08-24 22:15:21,714 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Error processing datanode Commandjava.io.IOException: Er... 阅读全文
posted @ 2015-06-09 23:23 程序优化 阅读(225) 评论(0) 推荐(0)
org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block
摘要：Hbase依赖的datanode日志中如果出现如下报错信息：DataXceiverjava.io.EOFException:INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in recei... 阅读全文
posted @ 2015-06-09 23:20 程序优化 阅读(861) 评论(0) 推荐(0)
480000 millis timeout while waiting for channel to be ready for write异常处理
摘要：2014-08-25 15:35:05,691 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.130.136.136:50010, storageID=D... 阅读全文
posted @ 2015-06-09 23:14 程序优化 阅读(2186) 评论(0) 推荐(0)
missing blocks错误
摘要：Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.... 阅读全文
posted @ 2015-06-09 23:08 程序优化 阅读(663) 评论(0) 推荐(0)
Hbase写入量大导致region过大无法split问题
摘要：最近在线上往hbase导数据，因为hbase写入能力比较强，没有太在意写的问题。让业务方进行历史数据的导入操作，中间发现一个问题，写入速度太快，并且业务数据集中到其中一个region，这个region无法split掉，处于不可用状态。这里描述一整个过程—— ... 阅读全文
posted @ 2015-06-09 23:06 程序优化 阅读(243) 评论(0) 推荐(0)
hbase集群写不进去数据的问题追踪过程
摘要：hbase从集群中有8台regionserver服务器，已稳定运行了5个多月，8月15号，发现集群中4个datanode进程死了，经查原因是内存 outofMemory了(因为这几台机器上部署了spark，给spark开的-Xmx是32g)，然后对从集群进行了恢复并进... 阅读全文
posted @ 2015-06-09 22:59 程序优化 阅读(1054) 评论(0) 推荐(0)
如何给系统升级
摘要：系统的升级涉及各个架构组件，细节很多。常年累月的修修补补使老系统积累了很多问题。 系统升级则意味着需要repair之前埋下的雷，那为何还要升级，可以考虑以下几个方面成熟老系统常见问题：1. 缺乏文档（这应该是大小公司都存在的问题。互联网项目的特点是易变和追求速度，详细... 阅读全文
posted @ 2015-06-07 00:10 程序优化 阅读(280) 评论(0) 推荐(0)
为何需要总结
摘要：总结和计划总是让人喜悦或镇痛，一方面以前一段时间没有荒废，能给现在的行动以信心，另一方面看到一年的时间并不能完成很多事情，需要抓紧时间。按优先级和重要性安排自己的时间让自己清醒总是好的。 阅读全文
posted @ 2015-06-06 23:54 程序优化 阅读(226) 评论(0) 推荐(0)
备忘
摘要：python十进制转16进制：python -c "print hex(28285)"程序远程调试:-Xdebug -Xrunjdwp:transport=dt_socket,server=y,address="8000"程序运行时间：ps -eo pid,lstar... 阅读全文
posted @ 2015-06-03 22:29 程序优化 阅读(195) 评论(0) 推荐(0)