程序优化 - 博客园

摘要： 2014-08-25 15:35:05,691 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.130.136.136:50010, storageID=D... 阅读全文

posted @ 2015-06-09 23:14 程序优化阅读(2151) 评论(0) 推荐(0) 编辑

摘要： Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.... 阅读全文

posted @ 2015-06-09 23:08 程序优化阅读(649) 评论(0) 推荐(0) 编辑

摘要：最近在线上往hbase导数据，因为hbase写入能力比较强，没有太在意写的问题。让业务方进行历史数据的导入操作，中间发现一个问题，写入速度太快，并且业务数据集中到其中一个region，这个region无法split掉，处于不可用状态。这里描述一整个过程—— ... 阅读全文

posted @ 2015-06-09 23:06 程序优化阅读(238) 评论(0) 推荐(0) 编辑

摘要： hbase从集群中有8台regionserver服务器，已稳定运行了5个多月，8月15号，发现集群中4个datanode进程死了，经查原因是内存 outofMemory了(因为这几台机器上部署了spark，给spark开的-Xmx是32g)，然后对从集群进行了恢复并进... 阅读全文

posted @ 2015-06-09 22:59 程序优化阅读(1010) 评论(0) 推荐(0) 编辑

摘要：系统的升级涉及各个架构组件，细节很多。常年累月的修修补补使老系统积累了很多问题。系统升级则意味着需要repair之前埋下的雷，那为何还要升级，可以考虑以下几个方面成熟老系统常见问题：1. 缺乏文档（这应该是大小公司都存在的问题。互联网项目的特点是易变和追求速度，详细... 阅读全文

posted @ 2015-06-07 00:10 程序优化阅读(273) 评论(0) 推荐(0) 编辑

摘要：总结和计划总是让人喜悦或镇痛，一方面以前一段时间没有荒废，能给现在的行动以信心，另一方面看到一年的时间并不能完成很多事情，需要抓紧时间。按优先级和重要性安排自己的时间让自己清醒总是好的。阅读全文

posted @ 2015-06-06 23:54 程序优化阅读(220) 评论(0) 推荐(0) 编辑

摘要： python十进制转16进制：python -c "print hex(28285)"程序远程调试:-Xdebug -Xrunjdwp:transport=dt_socket,server=y,address="8000"程序运行时间：ps -eo pid,lstar... 阅读全文

posted @ 2015-06-03 22:29 程序优化阅读(190) 评论(0) 推荐(0) 编辑

摘要： ZooKeeper 保证了数据的强一致性， zk集群中任意节点（一个zkServer）上的相同znode下的数据一定是相同的。使用zookeeper可以非常简单的实现分布式锁，其基本逻辑如下：客户端调用create()方法创建名为“locknode/lock”的节点... 阅读全文

posted @ 2015-05-26 19:13 程序优化阅读(182) 评论(0) 推荐(0) 编辑

摘要：线程的状态有：new、runnable、running、waiting、timed_waiting、blocked、dead 当执行new Thread(Runnabler)后，新创建出来的线程处于new状态，这种线程不可能执行当执行thread.start()后，... 阅读全文

posted @ 2015-05-26 19:13 程序优化阅读(191) 评论(0) 推荐(0) 编辑

摘要：使用MAT分析内存泄露对于大型服务端应用程序来说，有些内存泄露问题很难在测试阶段发现，此时就需要分析JVM Heap Dump文件来找出问题。随着单机内存越来越大，应用heap也开得越来越大，动辄十几G的Dump也不足为奇了。要快速分析，快速定位问题就必须有给力的工具... 阅读全文

posted @ 2015-05-19 07:12 程序优化阅读(273) 评论(0) 推荐(0) 编辑

DolphinScheduler(海豚调度)