摘要：
GitHub 上开源的必应壁纸 API 作为数据来源。 -- 1.开源地址 https://github.com/zenghongtu/bing-wallpaper -- 2.请求接口 https://bingw.jasonzeng.dev/ 一、接口使用说明 1.API 接口：https://bi 阅读全文
摘要：
nvl 函数和 coalesce 函数都是用来处理空值的函数，但略有不同。 注意：非 NULL 值为 NULL， 如果是''，' '， 'null'， 'NULL'等视为字符串，返回参数本身。 一、nvl函数 nvl 只能处理2个参数，如果第1个不是 null， 则返回第1个参数，否则返回第2个参数 阅读全文
摘要：
一、最大值 当在 Hive 中需要对多列数据求最大值时，可以使用函数 greatest(a, b, c, d) 实现。 select greatest(a, b, c) from ( select 10 as a, 20 as b, 30 as c ) dd; -- 结果：30 举个具体栗子：计算用 阅读全文
摘要：
苦命的打工人 `Hider` 每天上班都需要打卡，现在需要统计近一段时间内的平均打卡时间。 ## 一、想法 - 第一想法：利用 `mean` 函数直接求平均，但实际得到的是所有时间的均值，并非时间的均值。 - 第二想法：将日期与时间进行拆分，只对时间求平均。 - 第三想法：求每一个时间与0点之间的时 阅读全文
摘要：
参考链接：值得收藏！2023 年，你应该知道的所有机器学习算法~ 阅读全文
摘要：
数据从业者的使命是用数据驱动业务，但数据本身无法直接驱动业务，因此必然要经历从数据到信息、从信息到知识，再从知识到智慧的过程。 数据从业者的成长要起于数据，终于业务，让数据产生真正的智慧。 参考链接:数据从业者成长的五个阶段 阅读全文
摘要：
Pandas.Series 对象和 DataFrame 的列数据提供了 cat、dt、str 三种属性接口（accessors），分别对应分类数据、日期时间数据和字符串数据。 通过这几个接口可以快速实现特定的功能，十分便捷。 今天先针对 dt 接口对时间模块进行学习。 一、构建测试数据集 # 创建测 阅读全文
摘要：
日常从临时表复制数据到正式表可通过： create table table_name_new as select * from table_name; 但这样子原表的信息，分区等无法直接复制，需要通过额外的方式进行构建表、插入数据。 具体参考如下。 一、全量复制 drop table table_n 阅读全文
摘要：
一、查看分区 查看分区 show partitions table_name; /* update_date=20230305 update_date=20230312 update_date=20230319 */ 查看分区表描述 desc table_name partition(update_ 阅读全文
摘要：
MySQL 中有 group_concat 进行分组拼接字符串的功能，但 hive 中没有这个函数，需要进行折中处理。 具体可参考以前文章：Hive学习笔记：列转行之collect_list/collect_set/concat_ws 功能更新 对于拼接的字段进行排序，例如： 有多个渠道来源的情况下 阅读全文