摘要:
word自动生成目录最新版 Hadoop集群搭建[逐步安装步骤] 安装hadoop 单机版本. CDH平台集群搭建[逐步安装步骤] Python文件读写基本操作 python操作excel clinical-逻辑核查数据的操作 redis设置密码 git使用 编码CODING GIT 数据库事务的四 阅读全文
摘要:
面试题求 平衡点 装饰器详解 redis配置 Nigix配置 面试题-一个列表向右移动k位 HTTP请求行、请求头、请求体详解 面试题-选择题Python 查询一段文字 ,找出最长的单词 面试题-回文 Django _VIEW视图_源码分析 Django_Restframwork_APIVIEW视图 阅读全文
摘要:
微服务设计指南 敏捷开发-依赖详情 敏捷项目-依赖项拖动change 敏捷开发-获得依赖项面板 git pull 谈谈唯一约束和唯一索引 Flask-上下文管理 语音识别,文本转语音,语音转文本 __setattr__,__getattr__ Python的魔法方法 hashlib 和loggin模块 super函数的用法 Mysql-基础 特殊属性 Django分页设置 rabbitMQ消... 阅读全文
摘要:
SqlAlchemy操作(三) Mysql-视图 map函数和reduce函数、filter函数的区别 Python中split()、os.path.split()函数用法 DateTimeField如何自动设置为当前时间并且能被修改 ——django日期时间字段的使用 SQLAlchemy 几种查 阅读全文
摘要:
Django思维导图 session 和cookie HTTP服务介绍 Python对excel表格的操作 手写堆栈和队列 Redis安装步骤 - linux系统下 Redis持久化策略(RDB &AOF) django static文件的引入方式 CentOS更改ssh端口 ORM查询 迭代器生成 阅读全文
摘要:
Django基础 POST与GET请求的区别 CRM 安装 rabbitmq ,通过生成器获取redis列表数据 与 Celery 分布式异步队列 统计一篇英文文章内每个单词出现频率,并返回出现频率最高的前10个单词及其出现次数 POST与GET请求的区别 Restframework 分页器 Pag 阅读全文
摘要:
1. 值转换成列操作。值转列操作:[1777题库] 表:Products + + + | Column Name | Type | + + + | product_id | int | | store | enum | | price | int | + + + 在 SQL 中,(product_i 阅读全文
摘要:
1. 关系建模 特点: 整合数据,将整个企业的数据进行整合合并,进行相对应的规范化处理,尽量减少数据冗余,保证数据的一致性。 2.维度建模 设计流程: 1. 选择业务过程。 业务过程就是一个个不可拆分的行的行为,最好选择最细粒度的数据。 例如下单,付款, 一个业务过程对应一张事务型事实表. 2.声明 阅读全文
摘要:
一、常用日期函数 1. unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp(); select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2. from_unixtime:将时间戳转为日期格式 select 阅读全文
摘要:
lag是向上取前几行. 阅读全文
摘要:
Function(arg1) over(partition by arg order by arg <windows_expression>) 1. 窗口函数 over() 后面的为窗口函数 ,sum这种为 分析函数. over() : 指定分析函数工作的数据窗口大小,窗口会随着行进行变化. win 阅读全文
摘要:
CREATE TABLE city_data ( city STRING, random_field STRING ); INSERT INTO city_data (city, random_field) VALUES ('New York', 'example1'), ('Los Angeles 阅读全文
摘要:
https://blog.csdn.net/xiao4816/article/details/140244631?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522A5285920-BB13-4457-8E69-98798293C098% 阅读全文
摘要:
1. leetcode 2688 日活用户 Users 表: + + + | 字段名 | 类型 | + + + | user_id | int | | item | varchar | | created_at | datetime | | amount | int | + + + 在这个表可能包含 阅读全文
摘要:
1. 两个日期相减 date_diff datediff('2019-07-27',activity_date) between 0 and 29 2. 日期与数字相减或者相加 1. mysql 如下语法 where activity_date between date_add("2019-07-2 阅读全文
摘要:
最终结果 # Write your MySQL query statement below select distinct b.item_category as Category, ifnull(sum(case when dayofweek(a.order_date) = 2 then a.qua 阅读全文
摘要:
方法1 : SELECT distinct o.product_id FROM ( SELECT product_id, year(purchase_date) year, dense_rank() over(partition by product_id order by year(purchas 阅读全文
摘要:
示例零: SELECT seller_id , RANK() OVER( ORDER BY SUM(price) DESC) AS r ,SUM(price) FROM Sales 结果: 返回一条数据 , 没有partition 关键字,等于是全表做order by , 基于全表 做sum 排序 阅读全文
摘要:
https://leetcode.cn/problems/game-play-analysis-iii/solutions/286941/chao-xiang-xi-tu-jie-zi-lian-jie-by-piajun 如下第一种最简单的 开窗 select player_id , event_ 阅读全文
摘要:
如下是 hive的函数 select dayofweek ('2022-02-27') ; --dayofweek展示的是周几 共计 7个值 , 6代表周五 =1 select weekofyear('2022-12-22') ;--51 如下为mysql 的语句 :SELECT WEEK(purc 阅读全文
摘要:
SELECT ROUND( AVG(order_date = customer_pref_delivery_date) * 100, 2 ) AS immediate_percentage FROM Delivery ;等价于 SELECT ROUND( AVG(CASE WHEN order_da 阅读全文
摘要:
正常贷款:借款人能够履行合同,一直能正常还本付息,不存在任何影响贷款本息及时全额偿还的消极因素。 关注贷款:尽管借款人有能力偿还贷款本息,但存在一些可能对偿还产生不利影响的因素。 次级贷款:借款人的还款能力出现明显问题,完全依靠其正常营业收入无法足额偿还贷款本息。 可疑贷款:借款人无法足额偿还贷款本 阅读全文
摘要:
考试题1 262. 行程和用户 leetcode + + + | Column Name | Type | + + + | id | int | | client_id | int | | driver_id | int | | city_id | int | | status | enum | | 阅读全文
摘要:
在 Apache Hive 中,split 函数用于将字符串按照指定的分隔符拆分成数组。这在处理字符串数据时非常有用,特别是当需要对包含多个元素的字段进行拆分和分析时。 案例1. select split('a,b,c,d',',') ; / ["a","b","c","d"]explode 函数是 阅读全文
摘要:
https://blog.csdn.net/Mikkkee/article/details/136776193 --Drop DROP TABLE IF EXISTS test_live_events; --DDL CREATE TABLE IF NOT EXISTS test_live_event 阅读全文
摘要:
HIVE 优化: 场景1. 分组聚合group by 导致数据倾斜 -- map端聚合 : aggr=true 会在mapper端先group by一次,最后再把结果merge起来,为了减少reducer处理的数据量 指令: Set hive.groupby.mapaggr.checkinterva 阅读全文
摘要:
1. SPARK架构 我们往往采用Spark On Yarn模式, 那么 无需spark开启 master和slaver进程分别由yarn的 Rourcemanager和Nodemanager担当.Driver 角色运行在yarn容器中或者客户端.资源管理由resourceManger承担. 任务计 阅读全文
摘要:
主键可以分为 业务主键和代理主键.业务主键(身份证号码)代理主键surrogate (无实际意义自动编号) 阅读全文
摘要:
它的统一分析平台旨在在孤立的数据存储系统之间建立数字管道,并帮助工程师和数据科学家更好地沟通。 https://blog.csdn.net/ZGL_cyy/article/details/130332720 阅读全文
摘要:
import os import time log_dir = "/var/log/" def delete_expired_logs(): current_time = time.localtime() print(current_time.tm_hour) if current_time.tm_ 阅读全文
摘要:
https://blog.csdn.net/Jerry00713/article/details/113914587?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171012381616800197043628%2522%252C% 阅读全文
摘要:
https://m.y2mate.tools/zh-cn/youtube-to-mp4 阅读全文
摘要:
本文章向大家介绍Hive insert into 竟然覆盖了原来的数据,主要包括Hive insert into 竟然覆盖了原来的数据使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。 问题:在使用hive的insert into 往表里插入数据时 ,却发 阅读全文
摘要:
分区表数据加载--动态分区 往hive分区表中插入加载数据时,如果需要创建的分区很多,则需要复制粘贴修改很多sql去执行,效率低。因为hive是批处理系统,所以hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。 所谓动态分区指的是分区的字段值是基于查询结果自动推 阅读全文
摘要:
Hadoop常用端口 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : 高可用模式ZKFC端口 19888: 阅读全文
摘要:
yarn application查看任务 yarn application -list (2)根据Application状态过滤:yarn application -list -appStates (所有状态:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING 阅读全文
摘要:
import randomdata = {"name": "tom", "age": 18}# 复制100次copies = [data.copy() for _ in range(11)]aa='dddddddddd'# 随机生成name和agea= '{"index":{"_index":"du 阅读全文
摘要:
跨集群ES数据迁移:1. 设置白名单在目标ES库(新库)reindex.remote.whitelist: ["192.168.9.201:9200"][或者下面参数:reindex.remote.whitelist: "10.*:*"http.cors.enabled: truehttp.cors 阅读全文
摘要:
https://blog.csdn.net/qianshangding0708/article/details/50381966 Hive 引入第三方Jar包的方式 https://blog.csdn.net/weixin_40579109/article/details/112614334 查看加 阅读全文
摘要:
ES版本为: 8.11.4 JAVA 版本用 11版本. 务必!!!!!!!!【默认也行,不必11】 [root@es1 bin]# pwd/opt/elasticsearch-8.11.4/bin 集群配置文件 不带密码的 : ES1 [root@es8 config]# vi elasticse 阅读全文
摘要:
1. HIVESERVER2 的日志: /var/log/hive -rwxrwxrwx 1 hive hadoop 479 1月 14 18:20 hive.err -rwxrwxrwx 1 hive hadoop 2438 1月 13 20:27 hivemetastore-gc-2024-01 阅读全文
摘要:
阅读全文
摘要:
https://www.cnblogs.com/zourui4271/p/14139002.html 数据总线 数据仓库作为数据管理核心,必须拥有统一标准的数据输入接口与数据输出通道,才能保证数据输入输出的稳定性。但是数据输入输出会造成数据仓库的资源损耗,尤其是 IO 与网络,所以建设数据总线系统可 阅读全文
摘要:
SELECT student_temp.id ,coalesce(student_temp.age,student.age) as age ,student_temp.name ,coalesce(student_temp.dt,student.dt) as dt FROM student_temp 阅读全文
摘要:
数仓知识07:数据增量更新的几种方式 1、增量更新的几种方式 增量更新的本质,其实是获取源表中数据变化的情况(增、删、改),然后将源表中发生的变化同步至目标表中。 不同的方式,获取源表中数据变化的情况不一样,受技术的限制、表结构的限制,某些方式可能无法获取到完整的数据变化情况,因此只能适用于特定的场 阅读全文