摘要：
最近线上 kettle 报了一个 Unable to get database metadata from this database connection 的错误，网上有一大堆的这个异常解决方案，都尝试过但是并没有解决我的这个异常问题。那要怎么做呢？ 下面分享一下我的解决思路： 1：看一下这个输出 阅读全文
摘要：
实时数仓1.0 - 起步的基本功 传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。对于实时处理场景，我们常见的是两大类，一类是监控核心指标报警、618大屏需求等场景要求boss关心的统计指标做到秒级甚至毫秒级展示；另一类就是更贴近集团内部需求的实时报表，一般分钟级别，30分钟作业基本覆盖 阅读全文
摘要：
一：地方政府的数字化改革需求 无论是国务院的数字化改革要求，还是从地方政府自身经济发展的痛点出发，政府数字化改革都是势在必行。浙江省的数字改革工作可以说是在全国启动的比较早的，这也很好的印证了敢为人先的浙江精神。 二：项目名称 城市大脑数据中台项目 三：项目目标 城市大脑大数据资源池建设主要包括有两 阅读全文
摘要：
一： kafka组成模型 Kafka是一个开源的高吞吐量的分布式发布订阅消息系统，由生产者（producer）、消费者（consumer）、服务端broker三者组成。 二：kafka 集群模型 Producer（生产者）：发送消息 Consumer（消费者）：订阅消息 Broker：Kafka的节 阅读全文
摘要：
由于医疗行业数据的特殊性，不同医药公司的数据中台在数据采集方面各显身手。同行业的公司，有做医院外围产业的，也有直接切入医院业务系统的。我之前的东家，就是一家切入浙江某知名三甲医院的互联网公司。我们的数据采集端走的是对方的his系统接口，为了符合医疗行业数据监管要求，数据在同步到我们公司服务器的同时， 阅读全文
摘要：
一：数据中台项目启动背景 1：数字化转型急迫性： 金融行业业务发展迅速、市场变化快，各个业务部门和各级分行对数据有各种各样的新需求，不再是金融业传统的数据管理系统可以满足要求了。比如 风控、反洗钱、用户参入刷卡促销活动金额和次数等这些需求对实时计算要求比较高，传统的金融数据管理系统，难以做到及时响应 阅读全文
摘要：
过去的2021年，公司获得了省政府质量奖，依稀记得当初，董事长一再强调，数字化项目要在2021年国庆节之前取得进展，迎接省领导评审。我负责的公司重点项目就是LTC项目看板。熟悉华为的老铁们知道哈，华为的LTC流程在业界响当当的。华为不仅仅是技术牛掰，销售铁军也是赫赫有名。我们公司设计的LTC 看板的 阅读全文
摘要：
互联网大厂和传统中小微企业的数据方案不同之处，就是互联网是资金雄厚的企业，不差钱呀；而传统企业需要做到量力而行、适合自己就是最好的。目前国内，无论是我们之前的华为、还是现在的阿里、腾讯、抖音等头部互联网大厂，在离线数仓这块，都是基于大数据的组件 hive 去设计的。一般 在hive里去设计ods(贴 阅读全文
摘要：
传统企业的数字化转型，并不一定要引入高大上的大数据平台，从技术角度来说，基于传统的 关系型数据库 mysql ,依然可以玩的很溜。互联网企业玩的大数据平台、数据中台，对于传统行业公司来说，投入太大。那么基于小代价的数字化转型，在技术领域的实现方案还是有的。笔者公司的 MySQL + Windows 阅读全文