摘要：
好了我们言归正传，首先，对于MySQL层优化我一般遵从五个原则： 减少数据访问： 设置合理的字段类型，启用压缩，通过索引访问等减少磁盘IO 返回更少的数据： 只返回需要的字段和数据分页处理 减少磁盘io及网络io 减少交互次数： 批量DML操作，函数存储等减少数据连接次数 减少服务器CPU开销： 尽 阅读全文
摘要：
常见数据库知识总结 MYAQL： 事务：事务是并发控制的基本单元，事务是一个操作序列，要么都执行，要么都不执行，他是一个不可分割的工作单位，事务是维护数据库一致性的单位。 四个ACID基本性质： 1.原子性：要么都执行，要么都不执行。 2.一致性：合法的数据才可以被写入。 3.隔离性：允许多个用户并 阅读全文
摘要：
https://blog.csdn.net/weixin_38750084/article/details/82779910 简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。 概念 我们都知 阅读全文
摘要：
https://blog.csdn.net/weixin_43332500/article/details/105033468 1、语法： sum(字段1 ) over (partition by 字段2 order by 字段3 rows between unbounded preceding a 阅读全文
摘要：
大概意思是，按照标准，URL只允许一部分ASCII字符，其他字符（如汉字）是不符合标准的，此时就要进行编码。 因为我在构造URL的过程中要使用到中文： >>> string = "全文搜索" >>> parse.quote(string) '%E5%85%A8%E6%96%87%E6%90%9C%E 阅读全文
摘要：
PROXIES = [ 'http://183.136.177.77:3128', 'http://54.229.233.101:80', ........... 'http://194.167.44.91:80' ] USER_AGENTS = [ "Mozilla/5.0 (Windows NT 阅读全文
摘要：
python中时间、日期、时间戳的转换 1.简介 在编写代码时，往往涉及时间、日期、时间戳的相互转换。 2.示例 # 引入模块 import time, datetime 2.1 str类型的日期转换为时间戳 1 # 字符类型的时间 2 tss1 = '2013-10-10 23:40:00' 3 阅读全文
摘要：
窗口函数 row number + partition by 排序 数据排序后再取第一个值 select * from (select *, Row_Number() over (partition by uid order by created_at ) rank from ods_lps_kkb 阅读全文
摘要：
python中有一个轻量级的定时任务调度的库：schedule。他可以完成每分钟，每小时，每天，周几，特定日期的定时任务。因此十分方便我们执行一些轻量级的定时任务. 代码如下： 1 import schedule 2 import time 3 4 def job(name): 5 print("h 阅读全文
摘要：
大数据基础 一、大数据时代的认识与简介 （一）学习大数据的意义 在未来，软件开发将是“面向 AI 编程”，软件的核心业务逻辑和价值将围绕机器学习的结果也就是 AI 展开，软件工程师的工作就是考虑如何将机器学习的结果更好地呈现出来，如何更好地实现人和 AI 的交互。 将来，数据会越来越成为公司的核心资 阅读全文