06 2012 档案
mysql数据迁移hbase问题
摘要:无法直接dump,写了java多线程程序做迁移问题1:Operation not allowed after ResultSet closed裸jdbc语句,一个线程跑7个表,只有第一个表时候出这个问题,方法改为static synchronized可以解决,但速度慢的不能忍受,最终在同事建议下,换用spring jdbctemplate,解决问题2:SELECT `token`, `count` FROM {TABLE_NAME} ORDER BY `token` DESC LIMIT ?, ? 到100w后速度不能忍受的慢问题场景为遍历数据库,可以记录上次的最大token,然后 where 阅读全文
posted @ 2012-06-16 20:04 架构师刀哥 阅读(564) 评论(0) 推荐(0)
hbase问题总结
摘要:1 java.io.IOException: java.io.IOException: java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 4做简单的incr操作时出现,原因是之前put时放入的是int 长度为vlen=4 ,不适用增加操作,只能改为long型 vlen=82 写数据到column时 org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:Failed1action 阅读全文
posted @ 2012-06-12 14:29 架构师刀哥 阅读(29470) 评论(2) 推荐(1)