网站更新内容:请访问: https://bigdata.ministep.cn/
上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 70 下一页
摘要: mac的crontab 调度 mac的cron mac的cron调度默认是从分钟开始,没有秒,这点要注意; mac的cron调用python 即使安装了anaconda ,环境变量base 是 anaconda 默认的python,但是在cron 调度仍然使用mac系统自带的python macOS 阅读全文
posted @ 2022-02-09 19:52 ministep88 阅读(182) 评论(0) 推荐(0) 编辑
摘要: mac下mysql修改环境变量 打开终端, 输入 cd ~ 进入~文件夹 输入命令:sudo vim .bash_profile 输入root用户密码后,进入环境变量 在文档的最下方输入:export PATH=${PATH}:/usr/local/mysql/bin 然后esc退出insert状态 阅读全文
posted @ 2022-02-09 19:52 ministep88 阅读(58) 评论(0) 推荐(0) 编辑
摘要: dataframe可视化操作 pyplot express 示例 ## 使用pyplot expressimport plotly_express as pxfig = px.scatter(df_v1, x="ds", y="订单组数")fig.update_yaxes(rangemode="to 阅读全文
posted @ 2022-02-09 19:51 ministep88 阅读(231) 评论(0) 推荐(0) 编辑
摘要: Python将hive的table表转成dataframe 一步到位,代码如下: from pyhive import hiveimport pandas as pddef hive_read_sql(sql_code): connection = hive.Connection(host='10. 阅读全文
posted @ 2022-02-09 19:50 ministep88 阅读(405) 评论(0) 推荐(0) 编辑
摘要: 60分钟内连续购买 背景,需要统计下单老板,在60分钟内是否有多个大神提供服务,运营针对性做活动,方便老板下单; SQL思路 step1 解析 用户肯能对一个大神重复下单,因此先聚合; 使用笛卡尔积,一对多实现,用户下单时间差; 代码统计如下 with tmp_da_trade_order as ( 阅读全文
posted @ 2022-02-09 19:35 ministep88 阅读(283) 评论(0) 推荐(0) 编辑
摘要: SQL在业务中使用if存在的问题 if(true,'1','0') 在sql中 if 是非此即彼的选择,因此使用时需要注意业务问题: 举例: 判断用户是否新注册或者老注册用户 select tb.*,if(t_user.user_id is not null,'新注册用户','老注册用户') as 阅读全文
posted @ 2022-02-09 19:34 ministep88 阅读(165) 评论(0) 推荐(0) 编辑
摘要: with-SQL 语句使用 With 暂时不支持在Mysql中使用,但是可以在hive,odps中使用; with 语句的有点: with 语句相当于建立了一张临时虚拟表,但是不会被物理创建; with 语句,可以将业务接耦,每一个with语句,单独成为一个子模块,最后使用基础表将它们串联起来; 示 阅读全文
posted @ 2022-02-09 19:34 ministep88 阅读(441) 评论(0) 推荐(0) 编辑
摘要: SQL的case when 不可重叠; SQL的case when 其子条件是互斥的,如果存在重叠,就会优先排定前面的; 如果需要重叠,暂时就不用case when ,可以直接用union all 解决; BUG 重现; select * ,case when ds between '2020112 阅读全文
posted @ 2022-02-09 19:33 ministep88 阅读(1521) 评论(0) 推荐(0) 编辑
摘要: 运营需求拆解: 单一复购率公式(按周计算,需要计算从4.1-8.4的数据): 分子:本周和上周对同一商户都下过单的人数 分母:上周下过订单的总人数 注:需要考虑到可疑订单,即刷单的状况 需求拆解:难点在与分子计算; 需求进一步拆解:本周和上周对同同一商户下过单,则可以理解为用户的复购; 可以把用户和 阅读全文
posted @ 2022-02-09 19:32 ministep88 阅读(828) 评论(0) 推荐(0) 编辑
摘要: SQL编辑器 SQL编辑器重点推荐navicat编辑器,文末附上mac,wins下载地址; 关于 Navicat “Navicat”是一套可创建多个连接的数据库管理工具,用以方便管理 MySQL、Oracle、PostgreSQL、SQLite、SQL Server、MariaDB 和/或 Mong 阅读全文
posted @ 2022-02-09 19:32 ministep88 阅读(2273) 评论(0) 推荐(0) 编辑
上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 70 下一页
网站更新内容:请访问:https://bigdata.ministep.cn/