摘要: 大数据导论 ##企业大数据分析方向 数据是什么 数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号 或这些物理符号的组合,它是可识别的、抽象的符号。 ###数据分析 把隐藏在数据背后的信息集中和提炼出来,总结出所研究对象的内在规律,帮助管理者进行有效 阅读全文
posted @ 2022-06-01 17:06 半个程序猿Cohen_Lee 阅读(63) 评论(0) 推荐(0) 编辑
摘要: #面试问题 数据开发 最新数据 重复数据 窗口函数 调优问题 索引 patition by group by 阅读全文
posted @ 2022-05-23 09:56 半个程序猿Cohen_Lee 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 第一题 需求 我们有如下的用户访问数据 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 U02 20 阅读全文
posted @ 2022-04-16 15:01 半个程序猿Cohen_Lee 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 一,题记 要说当下IT行业什么最火?ABC无出其右。所谓ABC者,AI + Big Data + Cloud也,即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行,今天我们来讨论下大数据Big Data这个方向。 二,大数据里面的角色 角色一:大数据工程 大数据工程需要解决数据 阅读全文
posted @ 2022-04-01 22:47 半个程序猿Cohen_Lee 阅读(141) 评论(0) 推荐(0) 编辑
摘要: #spark笔记 Spark框架概述 ###Spark是什么 spark是用于大规模数据处理的统一分析引擎. Spark 借鉴了MapReduce 思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的API提高了开发速度。 S 阅读全文
posted @ 2022-03-28 17:32 半个程序猿Cohen_Lee 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 时间判断--XSY import time from datetime import datetime def DateJudge(s_time): #输入日期 # s_time = 1381419600 # 转为时间数组 timeArray = time.strptime(s_time, "%m% 阅读全文
posted @ 2022-03-27 16:17 半个程序猿Cohen_Lee 阅读(76) 评论(0) 推荐(0) 编辑
摘要: import numpy as np import os np.set_printoptions(threshold=np.inf) #显示所有列 pd.set_option('display.max_columns', None) #显示所有行 pd.set_option('display.max 阅读全文
posted @ 2022-03-10 17:49 半个程序猿Cohen_Lee 阅读(164) 评论(0) 推荐(0) 编辑
摘要: --查找存储过程-内容 FROM sys.sql_modules AS m INNER JOIN sys.all_objects AS o ON m.object_id = o.object_id WHERE o.[type] = 'P' and definition like '%NK_WEB.% 阅读全文
posted @ 2022-02-24 13:06 半个程序猿Cohen_Lee 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 在SQLSERVER中如何检测一个字符串中是否包含另一个字符串 --当charindex返回值大于0时则包含 为0不包含 select CHARINDEX('456','123456') SQL语句使用CHARINDEX函数,来测试一个字符串中是否包含另一个字符串中的方法: 一、CHARINDEX函 阅读全文
posted @ 2022-02-16 14:41 半个程序猿Cohen_Lee 阅读(1485) 评论(0) 推荐(0) 编辑
摘要: 变量类型: @@为全局变量,数据库提供的 @局部变量,用户自定义 QL中的 @、@@、#、## 、N 代表什么 @ 表示局部变量 @@ 表示全局变量 '#' 表示本地临时表的名称,以单个数字符号打头;它们仅对当前的用户连接是可见的 '##' 表示全局临时表 N 代表存入数据库时以 Unicode 格 阅读全文
posted @ 2022-02-15 14:06 半个程序猿Cohen_Lee 阅读(2965) 评论(0) 推荐(0) 编辑