smiecj

摘要： 背景介绍：探索golang 的单元测试框架，看一下哪种框架是结合业务体验更好的。 推荐 和 不推荐 使用的框架，我都会在标题中 标注出来，没有标注的表示体验一般，但也没有特别的缺点，观望态度 单元测试框架介绍 原生testing 示例 func TestModifyArr(t *testing.T) 阅读全文

摘要： 背景介绍 经过上一节 对单元测试框架的基本学习，我们已经掌握了 单元测试的基本写法 但是 对一个web 后台项目来说，往往需要依赖一些基础服务（数据库、缓存等），实际生产环境当然是要连接这些基础服务的，但是测试环境不一定能连通这些服务（测试环境最好是要能），因此编写mock 也是一个比较必要的过程。 阅读全文

摘要： 移动web最后的大作业我们组做的是实现类似新浪微博的功能。基本功能包括修改个人信息、发微博、看微博和回复数据库设计微博。我认为整个工程可以分为数据库设计、前台HTML、JSP和CSS开发、后台JavaScript设计。下面就依次看这几个部分 数据库设计 用户类：登录不看微博的用户，个人属性包括用户i 阅读全文

摘要： 原文链接 前言：这里提到的错误，并不是那种“致命错误”，而是业务中的使用习惯的问题。如果不够了解语言的设计方式，导致使用习惯不当，可能就会引入一些设计不够好的代码。因此学习这些前人对使用方式的总结是很有帮助的。 话不多说，一起来看看都有哪些常见易犯的错误： 一、枚举默认值和json反序列化 先来看一 阅读全文

摘要： 项目 如果你想直接看代码，可以直接看我的 git-docker-centos 项目地址，最近发布了 v1.2.0 版本，readme 已经非常详细了，包括项目的使用方式 和 需求规划 本机环境基本只依赖 Docker 的安装，Docker Desktop 的安装教程可参考我之前的博客-Docker 阅读全文

摘要： sealos 官方文档 release 背景 sealos 是用于一键部署 k8s 集群的工具。对于不想被太多操作系统细节配置困扰，又想快速装好一套测试k8s集群的同学，无疑是很方便的 网上教程很多，这边自己简单写下在公司机器上安装的过程，绕了一部分坑，帮助大家更快地使用 官方文档还说明 sealo 阅读全文

摘要： 背景 有个比较大的技术侧需求: 将数据从 HDFS 迁移到 s3。当然在真正迁移之前，还需要验证迁移到 s3 的数据，和上层查询器（hive、presto 之间的兼容性） 这里我们对一张业务表的数据做个简单的迁移测试 验证 数据迁移 为了让 hdfs 指令能直接操作 s3 的数据，参考 Using 阅读全文

摘要： 背景 用户需求: 需要将 mongodb 的数据同步到 hive 表，共 2 亿+条数据，总数据量约 30G 查阅一些博客后，大致同步方法有以下几种 手动+离线 对于比较小的数据，可以先通过 mongoexport 将数据导出到本地 json 文件，再将 json 直接上传到 hdfs，创建 hiv 阅读全文

摘要： 本文公众号 背景 在大数据实时同步的场景中，一个常见场景是从 mysql OLTP 数据库同步到 doris OLAP 数据库，前者属于业务系统通常情况下使用的数据库，后者提供给业务的同事进行高并发、大批量的数据计算和分析 今年年初时，我们这里的部署方案还是 flink cdc 2.4 + flin 阅读全文

摘要： 本文公众号地址 本文背景 应一个用户的好心和好奇心，在最近水深火热的百忙之中抽时间写完了一个简短的项目介绍，其实就是几个azkaban的批量操作脚本，但在大数据集群的“运维生涯”中，还是帮了自己不少忙，也算是为了它做一个简单的回顾吧 项目背景 azkaban 是一个大数据领域通用的任务管理服务，它的 阅读全文