摘要:
给你两个单词 word1 和 word2,请你计算出将 word1 转换成 word2 所使用的最少操作数 。 你可以对一个单词进行如下三种操作: 插入一个字符删除一个字符替换一个字符 来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/edit-d 阅读全文
摘要:
一、用户行为数仓. 1、数仓分层架构图 2、埋点行为数据基本格式(基本字段) "ap":"xxxxx",//项目数据来源 app pc "cm": { //公共字段 "mid": "", // (String) 设备唯一标识 "uid": "", // (String) 用户标识 "vc": "1" 阅读全文
摘要:
一、ODS层 1、保持数据原貌,不做任何修改 2、数据压缩:LZO压缩,减少磁盘空间 3、创建的是分区表:可以防止后续的全表扫描 包括 用户行为:string line dt ods_start; ods_event(商品列表、商品详情、点击 广告 点赞、评论、收藏 …… ) 业务数据:8张表(用户 阅读全文
摘要:
给你两个 非空 的链表,表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的,并且每个节点只能存储 一位 数字。 请你将两个数相加,并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外,这两个数都不会以 0 开头。 来源:力扣(LeetCode)链接:https://leetco 阅读全文
摘要:
一、质疑分层不合理 云上大数据数仓解决方案:https://www.aliyun.com/solution/datavexpo/datawarehouse 1、离线数仓--基于hive 2、实时数仓--基于kafka中间件 每一步都会缓存至datahub 二、数仓概念 1、数仓的数据源和输出系统分别 阅读全文
摘要:
一、有没有遇到过问题,怎么进行解决的 1、空值问题 本质:hive底层存储空数据使用\n《==》MySQL存储空数据使用null 解决:双向导入均分别使用两个参数☆,之前讲过 2、数据一致性问题 Hive ==》 MySQL 默认是4个map 2个成功,2个失败 原则:数据可以没有,但不能有错误 原 阅读全文
摘要:
/** * Definition for a binary tree node. * public class TreeNode { * int val; * TreeNode left; * TreeNode right; * TreeNode() {} * TreeNode(int val) { 阅读全文
摘要:
存在一个按升序排列的链表,给你这个链表的头节点 head ,请你删除链表中所有存在数字重复情况的节点,只保留原始链表中 没有重复出现 的数字。 返回同样按升序排列的结果链表。 来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/remove-dupl 阅读全文
摘要:
一、组成 1、架构 源数据原本是存在dubby数据库,存在MySQL可以支持多个客户端 客户端、数据存储(HDFS)、MR计算引擎 2、计算引擎的选择 MR引擎:基于磁盘,计算时间长,但一定能算出结果【一般用于计算周指标、月指标、年指标,一个任务3-5天】 tez引擎:基于内存,计算时间快,如果宕机 阅读全文
摘要:
一、Linux 常用的5个高级命令:查看端口号netstat、查看进程ps、查看磁盘使用情况iotop 二、shell 1、shell的工具:awk、sed、sort、cut 2、写过哪些脚本? 群起脚本、数仓与MySQL的数据导入导出、数仓不同层级之间的导入 三、Hadoop 1、入门 (1)常见 阅读全文