08 2022 档案
摘要:相同点 insert into 和 insert overwrite 都是往表中插入数据的。 不同点 区别1: insert into :其实是将数据追加到表的末尾,注意:不是覆盖,是追加。 insert overwrite : 其实是将重写表(或分区)中的内容,即将原来的hive表(或分区)中的数
阅读全文
摘要:DBA操作规范 1、涉及业务上的修改/删除数据,在得到业务方、CTO的邮件批准后方可执行,执行前提前做好备份,必要时可逆。 2、所有上线需求必须走工单系统,口头通知视为无效。 3、在对大表做表结构变更时,如修改字段属性会造成锁表,并会造成从库延迟,从而影响线上业务,必须在凌晨0:00后业务低峰期执行
阅读全文
摘要:1、数据库设计方面 A. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 B. 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描。 如: select id from t where nu
阅读全文
摘要:一、谓词下推 Predicate PushDown 谓词下推的目的:将过滤条件尽可能地下沉到数据源端。 谓词,用来描述或判定客体性质、特征或者客体之间关系的词项,英文翻译为predicate,而谓词下推的英文Predicate Pushdown中的谓词指返回bool值即true和false的函数,或
阅读全文
摘要:谓词下推 将外层查询块的 WHERE 子句中的谓词移入所包含的较低层查询块(例如视图),从而能够提早进行数据过滤以及有可能更好地利用索引。 这在分区数据库环境中甚至更为重要,其原因在于,提早进行过滤有可能减少必须在数据库分区之间传递的数据量。此优化技术在 SQL 中被称为谓词下推(Predicate
阅读全文
摘要:Flink去重语句 您可以通过多种方式实现去重需求,例如FIRST_VALUE、LAST_VALUE和DISTINCT等。本文为您介绍如何使用TopN方法实现去重,以及使用过程中的注意事项。 去重的方案通常有两种: (1) 保留第一条。 (2) 保留最后一条。 说明 ORDER BY后的时间属性字段
阅读全文
摘要:问题背景 设想你对用户在不同品类上的行为打分聚合后得到这样一个表 user_cate_score uid cate score 1 1 0.3 2 2 0.5 8 3 0.9 现在,你想将每个品类的TOP 100W 用户取出来,这种场景在推荐、营销中很常见。 基本方法 这个很容易通过窗函数写出如下解
阅读全文
摘要:1、安装httpd服务 yum -y install httpd 2、修改需要访问的文件路径 vi /etc/httpd/conf/httpd.conf ##默认是/var/www/html目录下的文件。 DocumentRoot "/var/www/html" <Directory "/var/w
阅读全文
摘要:国内常用python模块下载地址 清华大学:https://pypi.tuna.tsinghua.edu.cn/simple 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 阿里云:http://mirrors.aliyun.com/pypi/simp
阅读全文
摘要:一、系统模块 1、os.name # nt 表示Windows 系统;'posix’表示Linux系统2、os.sep #输出当前操作系统的路径分隔符;windos 展示 “\” 或 “\”;linux ”/“3、os.linesep #输出当前操作系统的换行符4、os.pathsep #输出分割文
阅读全文
摘要:一、必备知识回顾和补充 1. Hello world回顾 1、输出文本,使用print函数输出文本。 2、让用户输入名字,然后输出带名字的问候语。使用input函数获取用户的输入,使用变量保存输入值。 (1) Input函数获取运行环境中用户的输入,程序挂起等待输入完成。 (2) Print函数提供
阅读全文