2018年3月4日

考虑改动影响,为空判断以及高价值事情

摘要: 1. map和mapRet搞混了;导致最后在处理返回值的时候,返回的类型怎么都不对; 2. cs应该在第一次实例化的时候,放入到Map以及List里面; 3. 修改思路,将cs初始化实例的时候同时放入到mapRet和list里面;但是之前的腐败的代码:最后遍历mapRet中的对象放入到ret里面,并 阅读全文

posted @ 2018-03-04 18:09 下士闻道 阅读(145) 评论(0) 推荐(0) 编辑

Ambari和YARN的Capacity调度器,安装过程

摘要: 用Spark测试YARN的资源池,测试过程中发现很多时候爆资源不够; 于是添加机器,专门用于跑spark;首先是ssh不通,原来错把71的id_psa.put文件拷贝到64上面;后来ssh通了,ambaria安装成功了,但是在安装HDP的时候发现一个有一个组件找不到,rpclib-devel找不到, 阅读全文

posted @ 2018-03-04 17:15 下士闻道 阅读(1143) 评论(0) 推荐(0) 编辑

开发沉思录 - 记大数据平台的一次 BUG井喷

摘要: 研究REST提交重启;终于提交成功了,首先一个错误:地址IP地址的http://hdp0:8080/api/v1/clusters/HDP/requests ,被我错误写成了request,当误了大量的时间。,这个问题是我在用fiddler跟踪,看到了一个404; 第二个坑爹的问题是body没有装入 阅读全文

posted @ 2018-03-04 15:46 下士闻道 阅读(133) 评论(0) 推荐(0) 编辑

Fiddler的Java抓包

摘要: 代码处理 JVM参数配置(两者配置一个即可) -DproxySet=true -DproxyHost=127.0.0.1 -DproxyPort=8888 如果是Https访问,还添加上 -Djavax.net.ssl.trustStore=FiddlerKeystore -Djavax.net.s 阅读全文

posted @ 2018-03-04 15:45 下士闻道 阅读(590) 评论(0) 推荐(0) 编辑

分别心

摘要: select count(*) from (select * from HBASE_TEST) 第一遍(刷页面)有值 第二遍(点击Next Page)没有值? 因为在计算select count的时候,pageNo和pageSize不能在从函数参数里面取,而是写死的: 所以最重要的是“分别心”,你到 阅读全文

posted @ 2018-03-04 15:22 下士闻道 阅读(86) 评论(0) 推荐(0) 编辑

关于bonecp和QuerRunner

摘要: 之前一直以为boneCP和QueryRunner是绑定的,但是其实不是,后者来自于commons-dbUtils,BoneCP就是负责连接池。 while preparing SQL: UPSERT INTO.... Parameters[] 如果采用QuerRunner的exuecute,不可避免 阅读全文

posted @ 2018-03-04 15:19 下士闻道 阅读(162) 评论(0) 推荐(0) 编辑

关于AutoCommit

摘要: AutoCommit设置为true(大多数JDBCdrive的默认配置),则每次执行的SQL语句执行完成后都会落实到数据库中;如果想要在跨语句事务,则需要添加Begin Transiction,Commit/RollBack; 如果设置为false,执行的SQL语句,当前仅当COMMIT的时候才会执 阅读全文

posted @ 2018-03-04 15:17 下士闻道 阅读(196) 评论(0) 推荐(0) 编辑

一个detect问题引发的一系列思考

摘要: 在用BoneCP的时候,发现一个JVM日志中报了一个异常,大意是“探测(detect)到有数据库链接没有关闭”(不得不说JVM的强大),但是我用的是连接池里面的链接啊,怎么会需要关闭呢? 有问题首先找官网。 于是我上官网又看了一遍Demo,但是只是一个简单的Demo,历史的BoneCP的sample 阅读全文

posted @ 2018-03-04 14:02 下士闻道 阅读(179) 评论(0) 推荐(0) 编辑

迭代删除的处理机制

摘要: 直接在for下面remove/delete都会引发异常:ConcurrentModificationException下面是解决方案:利用迭代器进行删除; 收集删除项,最后一并删除 阅读全文

posted @ 2018-03-04 12:34 下士闻道 阅读(142) 评论(0) 推荐(0) 编辑

导航