2024年5月8日
redis
摘要： 一、Redis概述 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提 阅读全文
posted @ 2024-05-08 16:04 ReturnHome 阅读(47) 评论(0) 推荐(0)
中间件 MQ
摘要： 一、什么是mq? MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布 式系统之间进行通信。 二、mq的优缺点？ 优点： 1.应用解耦: 降低系统之间的耦合，提高系统的可维护性。 2.异步提速: 可以系统的吞吐量。 3.削峰填谷: 可以提高系统的稳定性。 阅读全文
posted @ 2024-05-08 15:53 ReturnHome 阅读(108) 评论(0) 推荐(0)
数据建模
摘要： 数据建模简单来说就是基于对业务的理解，将各种数据进行整合和关联，并最终使得这些数据可用性，可读性增强，让使用方能快速的获取到自己关心的有价值的信息并且及时的作出响应，为公司带来效益。 数据建模是一套方法论，主要是对数据的整合和存储做一些指导，强调从各个角度合理的存储数据。有了合适的数据模型，是会带来 阅读全文
posted @ 2024-05-08 15:46 ReturnHome 阅读(66) 评论(0) 推荐(0)
数据六性
摘要： 规范性：数据内容、命名、格式、取值等规范统一。如时间信息都以yyyy-mm-dd格式存储，或者“性别”属性中，应使用“M”、“F”表示，还是用“1”，“0”表示，还是用“男”、“女”表示。完整性：数据完整、没有缺失（包括看得见的缺失和看不见的缺失）。如人员信息完整涵盖性别、年龄等，或者身份证号码不能 阅读全文
posted @ 2024-05-08 15:45 ReturnHome 阅读(232) 评论(0) 推荐(0)
2024年1月17日
Spark
摘要： Apache Spark是专门为大数据处理而设计的通用的计算引擎。spark拥有MapReduce所具有的优点，但不同于Map Reduce的是Job中间输出结果可以缓存到内存中，从而不再需要读写HDFS，减少磁盘数据交互，因此Spark能更好的适应机器学习和数据挖掘等需要迭代的算法。 Spark提 阅读全文
posted @ 2024-01-17 09:14 ReturnHome 阅读(39) 评论(0) 推荐(0)
Python切片
摘要： 下面我们以列表为例来介绍下Python的切片操作 一.切片 一个完整的切片表达式包含两个:，用于分割列表参数，写法如下： list[start_index:end_index:step]1start_index：起始位置end_index：结束位置step：步进，为正数的时候表示从前向后，负数表示从 阅读全文
posted @ 2024-01-17 09:13 ReturnHome 阅读(46) 评论(0) 推荐(0)
2023年12月5日
Fink
摘要： 一。Flink和Spark一样，是一个大数据处理引擎。主要区别在于Flink做的是流处理，Spark做的是批处理。 二。Flink处理的是无界的和有界的数据流，做有状态的计算。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。 三。Flink 具有以下几个特点： 支持流处 阅读全文
posted @ 2023-12-05 11:02 ReturnHome 阅读(157) 评论(0) 推荐(0)
2023年12月4日
数据监控
摘要： 实现原来：请求接口数据，数据解析，数据进行处理，使用echarts进行趋势图绘制，截图邮件，数据阈值范围判断，对接软件告警，Jenkins持续集成； 一.数据处理： 二.结构 三.基础方法： 阅读全文
posted @ 2023-12-04 11:03 ReturnHome 阅读(52) 评论(0) 推荐(0)
Python中用requests处理cookies的3种方法
摘要： 在接口测试中，大多数项目的接口是需要登录后进行操作的，经常用到requests库进行模拟登录及登录后的操作，下面是我不断踩坑后总结出来的关于登录凭证cookies的3种操作方法。 一. 用 requests.utils.dict_from_cookiejar() 把返回的cookies转换成字典 1 阅读全文
posted @ 2023-12-04 11:00 ReturnHome 阅读(1601) 评论(0) 推荐(0)
ETL
摘要： ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的 阅读全文
posted @ 2023-12-04 11:00 ReturnHome 阅读(25) 评论(0) 推荐(0)