04 2023 档案
摘要：如果你会任意一门语言的stream流，没道理不会大数据开发。 俗话说男追女隔座山，女追男隔层纱。 如果说零基础学大数据，感觉前面是一座山，那么只要你会java或者任意一门语言的stream流，那大数据就只隔了一层纱。 本文以java stream流计算为例，讲解一些基础的spark操作。另一个流行的
阅读全文
摘要：事情起因是，摸鱼的时候在某平台刷到一篇spring事务相关的博文，文章最后贴了一张图。里面关于嵌套事务的表述明显是错误的。 更奇怪的是，这张图有点印象。在必应搜索关键词PROPAGATION_NESTED出来的第一篇文章，里面就有这这部份内容，也是结尾部份完全一模一样。 更关键的是，人家原文是表格，
阅读全文
摘要：工作中遇到事务一般使用声明式事务，一个注解@Transactional搞定。编程式事务则显得略繁琐。 @Autowired private PlatformTransactionManager transactionManager; public void service() throws Exce
阅读全文
摘要：0.背景 现在有一个大数据平台，我们需要通过spark对hive里的数据读取清洗转换(etl)再加其它的业务操作的过程，然后需要把这批数据落地到tbase数据库(腾讯的一款分布式数据库)。 数据导入的特点是不定时，但量大。每次导入的数据量在几亿到几十亿上百亿之间。 如果使用dataset.write
阅读全文
摘要：前几天写了篇关于fastjson的文章，《fastjson很好，但不适合我》。里面探讨到关于对象循环引用的序列化问题。作为spring序列化的最大竞品，在讨论fastjson的时候肯定要对比一下jackson的。所以我也去测试了一下Jackson在对象循环引用的序列化的功用，然后有了一点意外的小发现
阅读全文
