摘要：
word自动生成目录最新版 Hadoop集群搭建[逐步安装步骤] 安装hadoop 单机版本. CDH平台集群搭建[逐步安装步骤] Python文件读写基本操作 python操作excel clinical-逻辑核查数据的操作 redis设置密码 git使用 编码CODING GIT 数据库事务的四 阅读全文
摘要：
面试题求 平衡点 装饰器详解 redis配置 Nigix配置 面试题-一个列表向右移动k位 HTTP请求行、请求头、请求体详解 面试题-选择题Python 查询一段文字 ，找出最长的单词 面试题-回文 Django _VIEW视图_源码分析 Django_Restframwork_APIVIEW视图 阅读全文
摘要：
微服务设计指南 敏捷开发-依赖详情 敏捷项目-依赖项拖动change 敏捷开发-获得依赖项面板 git pull 谈谈唯一约束和唯一索引 Flask-上下文管理 语音识别，文本转语音，语音转文本 __setattr__,__getattr__ Python的魔法方法 hashlib 和loggin模块 super函数的用法 Mysql-基础 特殊属性 Django分页设置 rabbitMQ消... 阅读全文
摘要：
SqlAlchemy操作（三） Mysql-视图 map函数和reduce函数、filter函数的区别 Python中split()、os.path.split()函数用法 DateTimeField如何自动设置为当前时间并且能被修改 ——django日期时间字段的使用 SQLAlchemy 几种查 阅读全文
摘要：
Django思维导图 session 和cookie HTTP服务介绍 Python对excel表格的操作 手写堆栈和队列 Redis安装步骤 - linux系统下 Redis持久化策略（RDB &AOF） django static文件的引入方式 CentOS更改ssh端口 ORM查询 迭代器生成 阅读全文
摘要：
Django基础 POST与GET请求的区别 CRM 安装 rabbitmq ，通过生成器获取redis列表数据 与 Celery 分布式异步队列 统计一篇英文文章内每个单词出现频率，并返回出现频率最高的前10个单词及其出现次数 POST与GET请求的区别 Restframework 分页器 Pag 阅读全文
摘要：
1. 值转换成列操作。值转列操作：[1777题库] 表：Products + + + | Column Name | Type | + + + | product_id | int | | store | enum | | price | int | + + + 在 SQL 中，(product_i 阅读全文
摘要：
1. 关系建模 特点： 整合数据，将整个企业的数据进行整合合并，进行相对应的规范化处理，尽量减少数据冗余，保证数据的一致性。 2.维度建模 设计流程： 1. 选择业务过程。 业务过程就是一个个不可拆分的行的行为，最好选择最细粒度的数据。 例如下单，付款， 一个业务过程对应一张事务型事实表. 2.声明 阅读全文
摘要：
一、常用日期函数 1. unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp(); select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2. from_unixtime：将时间戳转为日期格式 select 阅读全文
摘要：
lag是向上取前几行. 阅读全文
摘要：
Function(arg1) over(partition by arg order by arg <windows_expression>) 1. 窗口函数 over() 后面的为窗口函数 ,sum这种为 分析函数. over() : 指定分析函数工作的数据窗口大小，窗口会随着行进行变化. win 阅读全文
摘要：
CREATE TABLE city_data ( city STRING, random_field STRING ); INSERT INTO city_data (city, random_field) VALUES ('New York', 'example1'), ('Los Angeles 阅读全文
摘要：
https://blog.csdn.net/xiao4816/article/details/140244631?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522A5285920-BB13-4457-8E69-98798293C098% 阅读全文
摘要：
1. leetcode 2688 日活用户 Users 表： + + + | 字段名 | 类型 | + + + | user_id | int | | item | varchar | | created_at | datetime | | amount | int | + + + 在这个表可能包含 阅读全文
摘要：
1. 两个日期相减 date_diff datediff('2019-07-27',activity_date) between 0 and 29 2. 日期与数字相减或者相加 1. mysql 如下语法 where activity_date between date_add("2019-07-2 阅读全文
摘要：
最终结果 # Write your MySQL query statement below select distinct b.item_category as Category, ifnull(sum(case when dayofweek(a.order_date) = 2 then a.qua 阅读全文
摘要：
方法1 ： SELECT distinct o.product_id FROM ( SELECT product_id, year(purchase_date) year, dense_rank() over(partition by product_id order by year(purchas 阅读全文
摘要：
示例零： SELECT seller_id , RANK() OVER( ORDER BY SUM(price) DESC) AS r ,SUM(price) FROM Sales 结果： 返回一条数据 ， 没有partition 关键字，等于是全表做order by ， 基于全表 做sum 排序 阅读全文
摘要：
https://leetcode.cn/problems/game-play-analysis-iii/solutions/286941/chao-xiang-xi-tu-jie-zi-lian-jie-by-piajun 如下第一种最简单的 开窗 select player_id , event_ 阅读全文
摘要：
如下是 hive的函数 select dayofweek ('2022-02-27') ; --dayofweek展示的是周几 共计 7个值 ， 6代表周五 =1 select weekofyear('2022-12-22') ;--51 如下为mysql 的语句 ：SELECT WEEK(purc 阅读全文
摘要：
SELECT ROUND( AVG(order_date = customer_pref_delivery_date) * 100, 2 ) AS immediate_percentage FROM Delivery ;等价于 SELECT ROUND( AVG(CASE WHEN order_da 阅读全文
摘要：
正常贷款：借款人能够履行合同，一直能正常还本付息，不存在任何影响贷款本息及时全额偿还的消极因素。 关注贷款：尽管借款人有能力偿还贷款本息，但存在一些可能对偿还产生不利影响的因素。 次级贷款：借款人的还款能力出现明显问题，完全依靠其正常营业收入无法足额偿还贷款本息。 可疑贷款：借款人无法足额偿还贷款本 阅读全文
摘要：
考试题1 262. 行程和用户 leetcode + + + | Column Name | Type | + + + | id | int | | client_id | int | | driver_id | int | | city_id | int | | status | enum | | 阅读全文
摘要：
在 Apache Hive 中，split 函数用于将字符串按照指定的分隔符拆分成数组。这在处理字符串数据时非常有用，特别是当需要对包含多个元素的字段进行拆分和分析时。 案例1. select split('a,b,c,d',',') ; / ["a","b","c","d"]explode 函数是 阅读全文
摘要：
https://blog.csdn.net/Mikkkee/article/details/136776193 --Drop DROP TABLE IF EXISTS test_live_events; --DDL CREATE TABLE IF NOT EXISTS test_live_event 阅读全文
摘要：
HIVE 优化： 场景1. 分组聚合group by 导致数据倾斜 -- map端聚合 ： aggr=true 会在mapper端先group by一次，最后再把结果merge起来，为了减少reducer处理的数据量 指令： Set hive.groupby.mapaggr.checkinterva 阅读全文
摘要：
1. SPARK架构 我们往往采用Spark On Yarn模式, 那么 无需spark开启 master和slaver进程分别由yarn的 Rourcemanager和Nodemanager担当.Driver 角色运行在yarn容器中或者客户端.资源管理由resourceManger承担. 任务计 阅读全文
摘要：
主键可以分为 业务主键和代理主键.业务主键(身份证号码)代理主键surrogate (无实际意义自动编号) 阅读全文
摘要：
它的统一分析平台旨在在孤立的数据存储系统之间建立数字管道，并帮助工程师和数据科学家更好地沟通。 https://blog.csdn.net/ZGL_cyy/article/details/130332720 阅读全文
摘要：
import os import time log_dir = "/var/log/" def delete_expired_logs(): current_time = time.localtime() print(current_time.tm_hour) if current_time.tm_ 阅读全文
摘要：
https://blog.csdn.net/Jerry00713/article/details/113914587?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171012381616800197043628%2522%252C% 阅读全文
摘要：
https://m.y2mate.tools/zh-cn/youtube-to-mp4 阅读全文
摘要：
本文章向大家介绍Hive insert into 竟然覆盖了原来的数据，主要包括Hive insert into 竟然覆盖了原来的数据使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。 问题：在使用hive的insert into 往表里插入数据时 ，却发 阅读全文
摘要：
分区表数据加载--动态分区 往hive分区表中插入加载数据时，如果需要创建的分区很多，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 所谓动态分区指的是分区的字段值是基于查询结果自动推 阅读全文
摘要：
Hadoop常用端口 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： 高可用模式ZKFC端口 19888： 阅读全文
摘要：
yarn application查看任务 yarn application -list （2）根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING 阅读全文
摘要：
import randomdata = {"name": "tom", "age": 18}# 复制100次copies = [data.copy() for _ in range(11)]aa='dddddddddd'# 随机生成name和agea= '{"index":{"_index":"du 阅读全文
摘要：
跨集群ES数据迁移:1. 设置白名单在目标ES库（新库）reindex.remote.whitelist: ["192.168.9.201:9200"][或者下面参数:reindex.remote.whitelist: "10.*:*"http.cors.enabled: truehttp.cors 阅读全文
摘要：
https://blog.csdn.net/qianshangding0708/article/details/50381966 Hive 引入第三方Jar包的方式 https://blog.csdn.net/weixin_40579109/article/details/112614334 查看加 阅读全文
摘要：
ES版本为： 8.11.4 JAVA 版本用 11版本. 务必！！！！！！！！【默认也行，不必11】 [root@es1 bin]# pwd/opt/elasticsearch-8.11.4/bin 集群配置文件 不带密码的 ： ES1 [root@es8 config]# vi elasticse 阅读全文
摘要：
1. HIVESERVER2 的日志： /var/log/hive -rwxrwxrwx 1 hive hadoop 479 1月 14 18:20 hive.err -rwxrwxrwx 1 hive hadoop 2438 1月 13 20:27 hivemetastore-gc-2024-01 阅读全文
摘要：
阅读全文
摘要：
https://www.cnblogs.com/zourui4271/p/14139002.html 数据总线 数据仓库作为数据管理核心，必须拥有统一标准的数据输入接口与数据输出通道，才能保证数据输入输出的稳定性。但是数据输入输出会造成数据仓库的资源损耗，尤其是 IO 与网络，所以建设数据总线系统可 阅读全文
摘要：
SELECT student_temp.id ,coalesce(student_temp.age,student.age) as age ,student_temp.name ,coalesce(student_temp.dt,student.dt) as dt FROM student_temp 阅读全文
摘要：
数仓知识07：数据增量更新的几种方式 1、增量更新的几种方式 增量更新的本质，其实是获取源表中数据变化的情况（增、删、改），然后将源表中发生的变化同步至目标表中。 不同的方式，获取源表中数据变化的情况不一样，受技术的限制、表结构的限制，某些方式可能无法获取到完整的数据变化情况，因此只能适用于特定的场 阅读全文