随笔分类 - 大数据

单表七千六百万数据量（oracle）进行实时汇总，sql很慢客户不能忍一下，该怎么办？

摘要：问题背景描述某省系统界面需要展示业务指标，该指标来自一张表如下图所示，数据量巨大。旧方案的统计逻辑是：java cron定时任务执行sql汇总插入汇总表，汇总频率一小时一次。在进行定时汇总的时候，由于需要统计历史所有数据，尽管sql已经优化避免全表扫描但是查询sql执行时间很久。导致：界面长阅读全文

posted @ 2021-08-15 17:13 程序员石磊阅读(1179) 评论(0) 推荐(0) 编辑

大数据分析之纳税人画像-实现和优化思路

摘要：1.背景环境本文章来自最近做的项目模块的思考和总结，主要讲思路不涉及过多的基础和实现细节。需求：统计出来纳税人名称、行业、近一年业务量（办税服务厅、电子税务局、自助渠道），近一年业务量top5(办税服务厅、电子税务局、自助渠道)、近一年纳税金额、近一年申报数、近一年用票数。支持根据所属税务机关分阅读全文

posted @ 2020-06-07 16:08 程序员石磊阅读(905) 评论(0) 推荐(0) 编辑

hadoop3自学入门笔记(3)-java 操作hdfs

摘要：1.core site.xml 2.pom.xml 3.测试代码 testDownloadFileToLocal 这里测试请注意，本地也要装hdfs才可以 "更多精彩请关注" 公众号【lovepythoncn】阅读全文

posted @ 2020-02-23 21:28 程序员石磊阅读(691) 评论(0) 推荐(0) 编辑

hadoop3自学入门笔记(2)—— HDFS分布式搭建

摘要：一些介绍 Hadoop 2和Hadoop 3的端口区别 Hadoop 3 HDFS集群架构我的集群规划 | name | ip | role | | | | | | 61 | 192.168.3.61 | namenode,datanode | | 62 | 192.168.3.62 | data 阅读全文

posted @ 2020-02-23 21:26 程序员石磊阅读(686) 评论(0) 推荐(0) 编辑

hadoop3自学入门笔记(1)——虚拟机安装和网络配置

摘要：前言年过30惶惶不安，又逢疫情，还是不断学习，强化自己的能力。hadoop的视频和书籍在15年的时候就看过，但是一直没动手实践过，要知道技术不经过实战，一点提升也没有。因此下定决心边学边做，希望能有所收获。软件版本介绍 virtualbox 6.1 centos7 hadoop 3.2.1 jd 阅读全文

posted @ 2020-02-16 23:47 程序员石磊阅读(600) 评论(0) 推荐(1) 编辑