1
摘要: word自动生成目录最新版 Hadoop集群搭建[逐步安装步骤] 安装hadoop 单机版本. CDH平台集群搭建[逐步安装步骤] Python文件读写基本操作 python操作excel clinical-逻辑核查数据的操作 redis设置密码 git使用 编码CODING GIT 数据库事务的四 阅读全文
posted @ 2019-05-26 21:42 萌哥-爱学习 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 面试题求 平衡点 装饰器详解 redis配置 Nigix配置 面试题-一个列表向右移动k位 HTTP请求行、请求头、请求体详解 面试题-选择题Python 查询一段文字 ,找出最长的单词 面试题-回文 Django _VIEW视图_源码分析 Django_Restframwork_APIVIEW视图 阅读全文
posted @ 2019-04-19 09:59 萌哥-爱学习 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 微服务设计指南 敏捷开发-依赖详情 敏捷项目-依赖项拖动change 敏捷开发-获得依赖项面板 git pull 谈谈唯一约束和唯一索引 Flask-上下文管理 语音识别,文本转语音,语音转文本 __setattr__,__getattr__ Python的魔法方法 hashlib 和loggin模块 super函数的用法 Mysql-基础 特殊属性 Django分页设置 rabbitMQ消... 阅读全文
posted @ 2019-01-20 23:15 萌哥-爱学习 阅读(200) 评论(0) 推荐(0) 编辑
摘要: SqlAlchemy操作(三) Mysql-视图 map函数和reduce函数、filter函数的区别 Python中split()、os.path.split()函数用法 DateTimeField如何自动设置为当前时间并且能被修改 ——django日期时间字段的使用 SQLAlchemy 几种查 阅读全文
posted @ 2018-12-20 19:27 萌哥-爱学习 阅读(156) 评论(0) 推荐(0) 编辑
摘要: Django思维导图 session 和cookie HTTP服务介绍 Python对excel表格的操作 手写堆栈和队列 Redis安装步骤 - linux系统下 Redis持久化策略(RDB &AOF) django static文件的引入方式 CentOS更改ssh端口 ORM查询 迭代器生成 阅读全文
posted @ 2018-11-15 21:59 萌哥-爱学习 阅读(132) 评论(0) 推荐(0) 编辑
摘要: Django基础 POST与GET请求的区别 CRM 安装 rabbitmq ,通过生成器获取redis列表数据 与 Celery 分布式异步队列 统计一篇英文文章内每个单词出现频率,并返回出现频率最高的前10个单词及其出现次数 POST与GET请求的区别 Restframework 分页器 Pag 阅读全文
posted @ 2018-03-21 18:41 萌哥-爱学习 阅读(370) 评论(0) 推荐(0) 编辑
摘要: #start F:\day07\0.mp4start G:\MUSIC\7.mp4 阅读全文
posted @ 2024-09-25 21:01 萌哥-爱学习 阅读(7) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/godlovedaniel/article/details/116570983 具体应用: SQL进阶技巧:Hive如何巧解和差计算的递归问题?【应用案例2】-CSDN博客 SQL进阶技巧:Hive URL解析函数详解及实际应用-CSDN博客 SQL进阶技 阅读全文
posted @ 2024-09-19 22:36 萌哥-爱学习 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 表: UserVisits + + + | Column Name | Type | + + + | user_id | int | | visit_date | date | + + + 该表没有主键,它可能有重复的行 该表包含用户访问某特定零售商的日期日志。 假设今天的日期是 '2021-1-1 阅读全文
posted @ 2024-09-14 17:57 萌哥-爱学习 阅读(2) 评论(0) 推荐(0) 编辑
摘要: CREATE TABLE your_table_name ( field1 STRING, field2 STRING, field3 STRING ); insert into your_table_name values ('1' ,'a','b' ) , ('1' ,'c','d' ) , ( 阅读全文
posted @ 2024-09-14 09:22 萌哥-爱学习 阅读(4) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/syhiiu/article/details/140061139 阅读全文
posted @ 2024-09-13 19:35 萌哥-爱学习 阅读(2) 评论(0) 推荐(0) 编辑
摘要: SELECT seller_id FROM (SELECT seller_id , RANK() OVER(ORDER BY SUM(price) DESC) AS r FROM Sales GROUP BY seller_id) s WHERE s.r=1; 作者:SunnyCCCh 链接:htt 阅读全文
posted @ 2024-09-13 17:57 萌哥-爱学习 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-09-13 15:06 萌哥-爱学习 阅读(2) 评论(0) 推荐(0) 编辑
摘要: A 阅读全文
posted @ 2024-09-13 14:55 萌哥-爱学习 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 好的,我再给你举一个使用 Hive SQL 的例子,比较 `LEFT JOIN` 和 `LEFT SEMI JOIN` 的区别,并加入测试数据。 假设我们有两个表: 1. `customers` 表: - `customer_id`: 客户 ID - `customer_name`: 客户名称 - 阅读全文
posted @ 2024-09-13 10:55 萌哥-爱学习 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 10.4 数据倾斜 1.数据倾斜现象: 绝大多数任务都很快完成,只有一个或者少数几个任务执行的很慢甚至最终执行失败。 2.数据过量现象: 数据过量的表现为所有任务都执行的很慢,这个时候只有提高执行资源才可以优化HQL的执行效率。 3. 数据倾斜的原因: 导致倾斜的原因在于按照key分组后,少量的任务 阅读全文
posted @ 2024-09-12 14:04 萌哥-爱学习 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 在 Hive 中,使用 `LATERAL VIEW` 可以实现行转列的操作,通常与 `explode` 函数结合使用。下面是一个示例,展示如何通过 `LATERAL VIEW` 将行转为列。 ### 示例场景 假设我们有一个名为 `movies` 的表,包含影视作品及其类型,类型是以逗号分隔的字符串 阅读全文
posted @ 2024-09-12 13:46 萌哥-爱学习 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 在 SQL 中,`FULL JOIN` 和 `UNION ALL` 是两种不同的操作,它们的结果也有显著的区别。 ### FULL JOIN`FULL JOIN`(全外连接)会返回两张表中所有的记录。对于没有匹配的记录,结果中会用 `NULL` 填充缺失的部分。具体来说: - 如果表 A 和表 B 阅读全文
posted @ 2024-09-12 09:54 萌哥-爱学习 阅读(78) 评论(0) 推荐(0) 编辑
摘要: --MYSQL SELECT TIMESTAMPDIFF(SECOND, datetime1, datetime2) AS seconds_difference FROM your_table; --MYSQL求两个时间的秒数 SELECT TIMESTAMPDIFF(MINUTE, start_t 阅读全文
posted @ 2024-09-11 14:49 萌哥-爱学习 阅读(15) 评论(0) 推荐(0) 编辑
摘要: ### 环比(Month-on-Month, MoM) 环比是指将某一时间段的数据与前一个相同时间段的数据进行比较,通常用于分析短期内的变化趋势。环比可以帮助我们了解数据在连续时间段内的增长或下降情况。 **示例:**如果2024年1月的销售额为100万元,2月的销售额为120万元,则2月的环比增长 阅读全文
posted @ 2024-09-11 10:01 萌哥-爱学习 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 表:Playback + + + | Column Name | Type | + + + | session_id | int | | customer_id | int | | start_time | int | | end_time | int | + + + session_id 是该表中 阅读全文
posted @ 2024-09-11 09:37 萌哥-爱学习 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 三者语法: 1. GROUP BY GROUPING SETS ( (product_name, region),()) ; 2. GROUP BY year, region WITH CUBE; 3.GROUP BY ROLLUP(year, region, product); 1. GROUPI 阅读全文
posted @ 2024-09-06 09:28 萌哥-爱学习 阅读(95) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2024-09-05 21:57 萌哥-爱学习 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 1. null 转换成 0 1.1 通过 COALESCE 函数 传入 n个表达式或者字段, 遇到 非null就返回 。 举例子: COALESCE ( A.TEMPLATE_ID , B.TEMPLATE_ID ) coalesce( 表达式,0) 遇到非null值即停止并返回该值 1.2 通过 阅读全文
posted @ 2024-09-05 11:41 萌哥-爱学习 阅读(28) 评论(0) 推荐(0) 编辑
摘要: NTILE 和 PERCENT_RANK 都是用于排名和分配的窗口函数,但它们的工作方式和结果有所不同。以下是它们的主要区别: 1. NTILE 功能: NTILE(n) 将数据分成 n 个桶或区间,按排序顺序将每个数据项分配到这些桶中。 每个桶大约包含数据的 1/n。 结果: 结果是桶的编号,从 阅读全文
posted @ 2024-09-04 16:56 萌哥-爱学习 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 1. 值转换成列操作。值转列操作:[1777题库] 值转换成列 ,也可以用pivot 函数 是hive3 里面新增的函数. 表:Products + + + | Column Name | Type | + + + | product_id | int | | store | enum | | pr 阅读全文
posted @ 2024-09-02 20:28 萌哥-爱学习 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 1. 关系建模 特点: 整合数据,将整个企业的数据进行整合合并,进行相对应的规范化处理,尽量减少数据冗余,保证数据的一致性。 2.维度建模 设计流程: 2.1. 选择业务过程。 业务过程就是一个个不可拆分的行的行为,最好选择最细粒度的数据。 例如下单,付款, 一个业务过程对应一张事务型事实表. 2. 阅读全文
posted @ 2024-09-01 15:09 萌哥-爱学习 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 一、常用日期函数 1. unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp(); select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2. from_unixtime:将时间戳转为日期格式 select 阅读全文
posted @ 2024-08-30 11:02 萌哥-爱学习 阅读(5) 评论(0) 推荐(0) 编辑
摘要: lag是向上取前几行. 阅读全文
posted @ 2024-08-29 21:59 萌哥-爱学习 阅读(1) 评论(0) 推荐(0) 编辑
摘要: Function(arg1) over(partition by arg order by arg <windows_expression>) 1. 窗口函数 over() 后面的为窗口函数 ,sum这种为 分析函数. over() : 指定分析函数工作的数据窗口大小,窗口会随着行进行变化. win 阅读全文
posted @ 2024-08-29 21:18 萌哥-爱学习 阅读(15) 评论(0) 推荐(0) 编辑
摘要: CREATE TABLE city_data ( city STRING, random_field STRING ); INSERT INTO city_data (city, random_field) VALUES ('New York', 'example1'), ('Los Angeles 阅读全文
posted @ 2024-08-29 14:59 萌哥-爱学习 阅读(18) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/xiao4816/article/details/140244631?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522A5285920-BB13-4457-8E69-98798293C098% 阅读全文
posted @ 2024-08-26 17:48 萌哥-爱学习 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 1. leetcode 2688 日活用户 Users 表: + + + | 字段名 | 类型 | + + + | user_id | int | | item | varchar | | created_at | datetime | | amount | int | + + + 在这个表可能包含 阅读全文
posted @ 2024-08-23 13:09 萌哥-爱学习 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 1. 两个日期相减 date_diff datediff('2019-07-27',activity_date) between 0 and 29 2. 日期与数字相减或者相加 1. mysql 如下语法 where activity_date between date_add("2019-07-2 阅读全文
posted @ 2024-08-22 20:25 萌哥-爱学习 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 最终结果 # Write your MySQL query statement below select distinct b.item_category as Category, ifnull(sum(case when dayofweek(a.order_date) = 2 then a.qua 阅读全文
posted @ 2024-08-22 10:04 萌哥-爱学习 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 方法1 : SELECT distinct o.product_id FROM ( SELECT product_id, year(purchase_date) year, dense_rank() over(partition by product_id order by year(purchas 阅读全文
posted @ 2024-08-21 22:11 萌哥-爱学习 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 示例零: SELECT seller_id , RANK() OVER( ORDER BY SUM(price) DESC) AS r ,SUM(price) FROM Sales 结果: 返回一条数据 , 没有partition 关键字,等于是全表做order by , 基于全表 做sum 排序 阅读全文
posted @ 2024-08-20 12:20 萌哥-爱学习 阅读(6) 评论(0) 推荐(0) 编辑
摘要: https://leetcode.cn/problems/game-play-analysis-iii/solutions/286941/chao-xiang-xi-tu-jie-zi-lian-jie-by-piajun 如下第一种最简单的 开窗 select player_id , event_ 阅读全文
posted @ 2024-08-18 15:27 萌哥-爱学习 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 如下是 hive的函数 select dayofweek ('2022-02-27') ; --dayofweek展示的是周几 共计 7个值 , 6代表周五 =1 select weekofyear('2022-12-22') ;--51 如下为mysql 的语句 :SELECT WEEK(purc 阅读全文
posted @ 2024-08-14 17:29 萌哥-爱学习 阅读(1) 评论(0) 推荐(0) 编辑
摘要: SELECT ROUND( AVG(order_date = customer_pref_delivery_date) * 100, 2 ) AS immediate_percentage FROM Delivery ;等价于 SELECT ROUND( AVG(CASE WHEN order_da 阅读全文
posted @ 2024-08-14 10:49 萌哥-爱学习 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 正常贷款:借款人能够履行合同,一直能正常还本付息,不存在任何影响贷款本息及时全额偿还的消极因素。 关注贷款:尽管借款人有能力偿还贷款本息,但存在一些可能对偿还产生不利影响的因素。 次级贷款:借款人的还款能力出现明显问题,完全依靠其正常营业收入无法足额偿还贷款本息。 可疑贷款:借款人无法足额偿还贷款本 阅读全文
posted @ 2024-08-12 20:37 萌哥-爱学习 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 考试题1 262. 行程和用户 leetcode + + + | Column Name | Type | + + + | id | int | | client_id | int | | driver_id | int | | city_id | int | | status | enum | | 阅读全文
posted @ 2024-08-09 11:58 萌哥-爱学习 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 在 Apache Hive 中,split 函数用于将字符串按照指定的分隔符拆分成数组。这在处理字符串数据时非常有用,特别是当需要对包含多个元素的字段进行拆分和分析时。 案例1. select split('a,b,c,d',',') ; / ["a","b","c","d"]explode 函数是 阅读全文
posted @ 2024-08-06 21:07 萌哥-爱学习 阅读(27) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/Mikkkee/article/details/136776193 --Drop DROP TABLE IF EXISTS test_live_events; --DDL CREATE TABLE IF NOT EXISTS test_live_event 阅读全文
posted @ 2024-08-04 18:51 萌哥-爱学习 阅读(32) 评论(0) 推荐(0) 编辑
摘要: HIVE 优化: 场景1. 分组聚合group by 导致数据倾斜 -- map端聚合 : aggr=true 会在mapper端先group by一次,最后再把结果merge起来,为了减少reducer处理的数据量 指令: Set hive.groupby.mapaggr.checkinterva 阅读全文
posted @ 2024-07-10 12:29 萌哥-爱学习 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 1. SPARK架构 我们往往采用Spark On Yarn模式, 那么 无需spark开启 master和slaver进程分别由yarn的 Rourcemanager和Nodemanager担当.Driver 角色运行在yarn容器中或者客户端.资源管理由resourceManger承担. 任务计 阅读全文
posted @ 2024-07-09 13:49 萌哥-爱学习 阅读(7) 评论(0) 推荐(0) 编辑