摘要：
项目中使用了spring-data-mongodb，最近在浏览官网时发现新增了2个很有用的feature： 1，@DocumentReference，解决mongodb建模中的一对多、多对一关系的利器。 2，@Update注解，支持在repository接口上直接findAndUpdate的操作。 阅读全文
摘要：
第一步，需要在CDH上安装Spark 2，由于我的CDH是5.15.x，只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。 总结下，需要手动下载cds文件上传到CM服务 阅读全文
摘要：
superset最近的更新颇为频繁，还增加了对es的支持，必须升级一把。 升级的方法也比较简单，现在测试环境试验，官方的文档有说明： pip install apache-superset --upgrade superset db upgrade superset init 不过现在访问国外站点的 阅读全文
摘要：
最近在做一个项目，需要爬取一个系统的所有（动态）页面，并将每个网页都存为一个PDF文件。由于是内部系统，没有反爬，所以爬虫编写并不复杂，保存网页支持Python的工具搜了下，主要有两个： 1，PdfKit，基于wkhtmlpdf，后者是c语言编写的； 2，Weasyprint，好像是一个纯Pytho 阅读全文
摘要：
之前用JavaPoet写了一个简单的Java代码生成框架，支持得也比较简陋，如果类的属性是集合的，都不支持泛型声明。这两天有空正好补充了实现。 泛型支持本身很简单，用正则表达式匹配一下，如果是包含了<.+>的就说明是泛型声明了，稍微麻烦一点的是括号里面的类型也是本次生成的某个Java类。这里就需要先 阅读全文
摘要：
得益于echarts和其他多种数据可视化框架的流行，现在做出各种美观大气炫酷的图形化报表已经是信手拈来的事情，接踵而来的就是各种新鲜的奇葩需求。最近我们就遇到一个，要能够将多张热力图合成为一张动图，展现出过去一段时间的变化趋势，然后再通过qq/微信分享出去。用户爸爸的脑洞开得不错，仔细一想也有道理， 阅读全文
摘要：
Log4J2的异步性能实在了得，当年（2016）秒得logback渣都不剩，这次用来连接Kafka，想来性能应该还是不错，也省去我们搭建flume->kafka->flume这个多少也有点脱了裤子放屁的架构。 实测，500并发，单spring boot实例的平均响应时间300多毫秒，略长，各个kaf 阅读全文
摘要：
CDH测试环境，有几个没有临幸了，今天一打开，好家伙，全国山河一片红啊！从CM到cluster里面的所有服务，全部都充满了红色的错误图标。第一反应就是，磁盘空间占满了，一查，果然如此。 这里就涉及到一个基础问题，很悲催，在我们安装系统之初，运维没有告知有一个500G的硬盘，所以就只用根目录下的50G 阅读全文
摘要：
那些认为Mac对开发人员友好的人，大多都不是做应用软件的吧，Mac作为生产力工具跟PC还是没法比的，这不，我国码农的最爱之一，PowerDesigner就没有mac版，沟通和协同起来都灰常痛苦。搜了一圈，也没有好的方案，只有一个良心码农写了个java版的pdm读取版本，基于swing的，只能看，不能 阅读全文
摘要：
Dubbo的消费端，如果引用了大量的dubbo service，会在运行一段时间后莫名其妙的出现不响应，然后就OutOfMemoryError，从日志来看是Log4j在打印某句日志时出错了，将内存dump出来检查，发现确实有大量的String要输出，所以导致内存溢出。没有仔细看源代码，不过经过推测， 阅读全文