2020 年 4月随笔档案 - 爱吃萝卜青菜

hive 查询排名的开窗函数row_number()

摘要：hive中的over()开窗函数还有很多，但是特别有用的还是row_number() 还是排名函数平时平时使用聚合函数比较多，但是对于某些需求，group by使用起来会很吃力，而且子查询很多，这时候就用到了开窗函数。 row_number() over(PARTITION BY station 阅读全文

posted @ 2020-04-30 17:13 爱吃萝卜青菜阅读(1523) 评论(0) 推荐(0)

impala 将查询数据导出为文件格式

摘要：impala 虽然说查询速度比 hive 快很多，查询出来的数据格式也很漂亮，但是这些数据不能直接复制到excel中使用，十分不方便。在这里有一个命令可以将查询数据直接导出到文件中。 impala-shell -q "SELECT * from dw_center.order limit 20 " 阅读全文

posted @ 2020-04-30 16:41 爱吃萝卜青菜阅读(1402) 评论(0) 推荐(0)

hive之hive的基本概念

摘要：1.什么是hive Hive是用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序，他们的转换过程如下图所示 1）Hive 处理的数据存储在 HD 阅读全文

posted @ 2020-04-29 16:31 爱吃萝卜青菜阅读(273) 评论(0) 推荐(0)

pdf转换为word工具

摘要：最近写论文，总是遇到pdf格式，用其他转换工具，不是要钱就是乱码。很头痛。发现一个很好用的pdf转换word的工具 1.下载链接：https://pan.baidu.com/s/1OuqJJZSACs8gaHnI-ljGWQ 提取码：o250 复制这段内容后打开百度网盘手机App，操作更方便哦阅读全文

posted @ 2020-04-29 15:20 爱吃萝卜青菜阅读(152) 评论(0) 推荐(0)

2019office下载安装与破解

摘要：这是office全家桶，里面有office的所有软件 1.下载office2019 链接：https://pan.baidu.com/s/1HaCvxZtU6fMe6fm1X0wSJQ 提取码：qs39 如果失效可以找我要卫星：Fqueen12 2.解压后 3.点击Olnstall.exe 第一步阅读全文

posted @ 2020-04-29 14:22 爱吃萝卜青菜阅读(1382) 评论(0) 推荐(0)

mysql之索引基础知识与索引的创建

摘要：1.什么是索引给出索引的官方介绍：索引(Index)是帮助MySQL高效获取数据的数据结构。Mysql索引主要有两种结构：B+Tree索引和Hash索引。我们平常所说的索引，如果没有特别指明，一般都是指B树结构组织的索引(B+Tree索引)。索引相当于一本字典的目录，通过目录快速的找到需要找的阅读全文

posted @ 2020-04-29 11:49 爱吃萝卜青菜阅读(183) 评论(0) 推荐(0)

mysql之 union 和union all区别

摘要：1.union 用于不同表中相同列得数据展示（不包含重复数据）， SELECT 列名称 FROM 表名称 UNION SELECT 列名称 FROM 表名称 ORDER BY 列名称； 2.union all 用于不同表中相同列得数据展示（包含重复数据）， SELECT 列名称 FROM 表名称 U 阅读全文

posted @ 2020-04-28 17:20 爱吃萝卜青菜阅读(283) 评论(0) 推荐(0)

cmd 上运行 .py pthon 文件

摘要：1.win+r打开 cmd 命令窗口 2.输入 python 文件名 3.命令窗口命令 cls 完成阅读全文

posted @ 2020-04-28 16:34 爱吃萝卜青菜阅读(118) 评论(0) 推荐(0)

mysql之alter 字段的修改、添加、删除

摘要：修改 1. 修改表名 alter table 表名 rename to 新的表名; 2. 修改表的字符集 alter table 表名 character set 字符集名称; 3. 修改字段名称和类型 alter table 表名 change 字段名新字段新数据类型; -- 修改列的字段名阅读全文

posted @ 2020-04-28 15:30 爱吃萝卜青菜阅读(1509) 评论(0) 推荐(0)

mysql之Percona-XtraDB-Cluster prohibits without an explicit primary key with pxc_strict_mode = ENFORCING or MASTER报错

摘要：今天执行删除语句的时候报错 Percona-XtraDB-Cluster prohibits without an explicit primary key with pxc_strict_mode = ENFORCING or MASTER 原因是主键，添加主键就好了阅读全文

posted @ 2020-04-28 11:47 爱吃萝卜青菜阅读(846) 评论(0) 推荐(0)

mysql之常用操作，创建库、表，删除库、表

摘要：数据库操作 1.创建数据库 create database 数据库名; 2.删除数据库 drop database 数据库名; drop database if exists 数据库名;（如果存在则删除） 3.查看数据库 show database; 4.使用数据库 use 数据库名; 表操作 1. 阅读全文

posted @ 2020-04-28 10:40 爱吃萝卜青菜阅读(351) 评论(0) 推荐(0)

mysql之 navicat表权限设置

摘要：1.选中需要修改权限的表，单击右键-设置权限 2.点击添加权限，根据需求选择对应用户和权限。 . 3.完成 4.可以用sql来添加权限。阅读全文

posted @ 2020-04-27 14:52 爱吃萝卜青菜阅读(1938) 评论(1) 推荐(1)

MySQL之You can't specify target table for update in FROM clause解决办法

摘要：做删除的时候遇到了这个问题 You can't specify target table for update in FROM clause 意思是：不能查询表中的字段并更新这些字段在同一张表中。解决：在包一层就行了错误sql： DELETE FROM orders WHERE id IN (S 阅读全文

posted @ 2020-04-26 17:24 爱吃萝卜青菜阅读(5456) 评论(0) 推荐(0)

如何将mysql数据导入hive中

摘要：1.首先在hive中建表（尽量与mysql字段对应） 2. 将mysql中的表导出 txt格式 3.通过hadoop 上传到HDFS上命令 hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external 阅读全文

posted @ 2020-04-24 18:29 爱吃萝卜青菜阅读(3390) 评论(0) 推荐(1)

crontab 两周执行一次（每隔一周的周五执行）

摘要：1.最近试了很多方法两周执行一次，最终还是实验出来了。 2.crontab 表达式： 50 9 8-14,22-28 * 5 /home/ls 3.表达式含义：双周周五9点50执行ls。（如何设置单周改变对应日期就行） 4.测试：不要去修改服务器上的时间，这里有一个测试工具 http 阅读全文

posted @ 2020-04-24 11:58 爱吃萝卜青菜阅读(14604) 评论(1) 推荐(0)

Dbvisualizer 如何打开sql编辑器

摘要：最近学习impala ，使用到一个工具 Dbvisualizer ，居然不知道怎么打开sql编辑器 1.选中一张数据表，然后点击这个绿色小标标。就可以进入sql编辑器了。现在开始写sql吧阅读全文

posted @ 2020-04-24 09:40 爱吃萝卜青菜阅读(2624) 评论(0) 推荐(0)

hive 中实现分组排序（去重操作）

摘要：最近遇到一个需求：求出各个部分工资排名前十的同事。由于数据量太大，在、不能只能用mysql（速度太慢了），还就用hive进行查询。找到了一个分组排序函数 row_number() 语法： row_number() over(partition by 分组列 order by 排序列 desc) 注阅读全文

posted @ 2020-04-22 10:21 爱吃萝卜青菜阅读(2579) 评论(0) 推荐(0)

如何将文本批量装换为数值

摘要：有两种方法我只想说一种简单的方法 1.先点击一个单元格，将这个小黄色感叹号弄出来。 1. 2.按住shift ，选中要修改的区域 3.点击小黄色感叹号，选择转换为数值，完成 4.转换成功阅读全文

posted @ 2020-04-20 11:26 爱吃萝卜青菜阅读(3544) 评论(0) 推荐(0)

corntab 定时间调度总结

摘要：1.什么是crontab crontab：定时任务的守护进程，精确到分，相当于闹钟 2.corntab怎么用一般我们会看到 * * * * * + 执行文件 eg：0 * * * * /bin/ls 那接下来具体说说这5个点的具体用法，如下表所示。这个看上去还是有点模糊，还是来点具体的例子阅读全文

posted @ 2020-04-17 14:40 爱吃萝卜青菜阅读(448) 评论(0) 推荐(0)

执行hive SQL时报错 AnalysisException: select list expression not produced by aggregation output (missing from GROUP BY clause?)

摘要：AnalysisException: select list expression not produced by aggregation output (missing from GROUP BY clause?) 错误原因这个错误是由于查询列后面的字段没有全部放在group by 后面（除聚阅读全文

posted @ 2020-04-16 10:06 爱吃萝卜青菜阅读(16806) 评论(0) 推荐(1)

jupyter 安装与使用

摘要：学习python 肯定要有一两款练习的小工具，这里推荐两款常用的工具 1. jupyter ：交互性、探索性的开发神器，适合基础语法练习，数据分析、数学建模等； 2. pycharm：大而全的集成开发环境，适合复杂项目开发；这里主要说一下 jupyter安装过程 1. 安装 win+R 打开电阅读全文

posted @ 2020-04-15 11:12 爱吃萝卜青菜阅读(334) 评论(0) 推荐(0)