网站更新内容:请访问: https://bigdata.ministep.cn/
摘要: 今天想聊一聊学习这个话题,理想情况下,每个人都应该有适合自己的一套学习方法和节奏,主要因为不同人对知识的理解和吸收速度不一样,举个非常简单的例子,在网上看视频或者电影,有些人觉得2倍速播放刚刚好,而有些人甚至还要降速才能看明白,才能Get到点。即便如此,我觉得有些学习的经验和方法是可以共享的,虽然它 阅读全文
posted @ 2022-02-09 19:56 ministep88 阅读(341) 评论(0) 推荐(0) 编辑
摘要: puppeteer 基础用法 const moment = require('moment');const puppeteer = require('puppeteer');const chalk = require('chalk');const log = console.log;​​date = 阅读全文
posted @ 2022-02-09 19:55 ministep88 阅读(360) 评论(0) 推荐(0) 编辑
摘要: 循环获取items元素 以掘金示例 获取掘金首页的items元素 页面:掘金] 目的:获取items的元素的点赞数和分享数 js示例 doc = document.querySelector("#juejin > div.view-container.container > main > div > 阅读全文
posted @ 2022-02-09 19:55 ministep88 阅读(304) 评论(0) 推荐(0) 编辑
摘要: Jupyter-nodejs 安装 jupyter 是web的编辑器,直接多种内核,默认支持python; nodejs支持 Windows (Anaconda Distribution) 省 macOS In macOS, Homebrew and pip can be used to insta 阅读全文
posted @ 2022-02-09 19:54 ministep88 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 版本控制 github 如何使用 注册github git安装 git配置 github,创建SSHkey,后续可以不用输入账号 git使用 克隆仓库 在Git上输入这个,克隆仓库到本地 git clone git@github.com:fenyukuang/TestCode.git 基础使用 $ 阅读全文
posted @ 2022-02-09 19:53 ministep88 阅读(54) 评论(0) 推荐(0) 编辑
摘要: javascript 引用文件 javascript 引用文件 // config.jsconst path = require('path');path_dir = path.resolve('./')var config = { 'config_getcwd_path':path_dir };m 阅读全文
posted @ 2022-02-09 19:53 ministep88 阅读(150) 评论(0) 推荐(0) 编辑
摘要: mac的crontab 调度 mac的cron mac的cron调度默认是从分钟开始,没有秒,这点要注意; mac的cron调用python 即使安装了anaconda ,环境变量base 是 anaconda 默认的python,但是在cron 调度仍然使用mac系统自带的python macOS 阅读全文
posted @ 2022-02-09 19:52 ministep88 阅读(183) 评论(0) 推荐(0) 编辑
摘要: mac下mysql修改环境变量 打开终端, 输入 cd ~ 进入~文件夹 输入命令:sudo vim .bash_profile 输入root用户密码后,进入环境变量 在文档的最下方输入:export PATH=${PATH}:/usr/local/mysql/bin 然后esc退出insert状态 阅读全文
posted @ 2022-02-09 19:52 ministep88 阅读(59) 评论(0) 推荐(0) 编辑
摘要: dataframe可视化操作 pyplot express 示例 ## 使用pyplot expressimport plotly_express as pxfig = px.scatter(df_v1, x="ds", y="订单组数")fig.update_yaxes(rangemode="to 阅读全文
posted @ 2022-02-09 19:51 ministep88 阅读(238) 评论(0) 推荐(0) 编辑
摘要: Python将hive的table表转成dataframe 一步到位,代码如下: from pyhive import hiveimport pandas as pddef hive_read_sql(sql_code): connection = hive.Connection(host='10. 阅读全文
posted @ 2022-02-09 19:50 ministep88 阅读(409) 评论(0) 推荐(0) 编辑
摘要: 60分钟内连续购买 背景,需要统计下单老板,在60分钟内是否有多个大神提供服务,运营针对性做活动,方便老板下单; SQL思路 step1 解析 用户肯能对一个大神重复下单,因此先聚合; 使用笛卡尔积,一对多实现,用户下单时间差; 代码统计如下 with tmp_da_trade_order as ( 阅读全文
posted @ 2022-02-09 19:35 ministep88 阅读(287) 评论(0) 推荐(0) 编辑
摘要: SQL在业务中使用if存在的问题 if(true,'1','0') 在sql中 if 是非此即彼的选择,因此使用时需要注意业务问题: 举例: 判断用户是否新注册或者老注册用户 select tb.*,if(t_user.user_id is not null,'新注册用户','老注册用户') as 阅读全文
posted @ 2022-02-09 19:34 ministep88 阅读(168) 评论(0) 推荐(0) 编辑
摘要: with-SQL 语句使用 With 暂时不支持在Mysql中使用,但是可以在hive,odps中使用; with 语句的有点: with 语句相当于建立了一张临时虚拟表,但是不会被物理创建; with 语句,可以将业务接耦,每一个with语句,单独成为一个子模块,最后使用基础表将它们串联起来; 示 阅读全文
posted @ 2022-02-09 19:34 ministep88 阅读(446) 评论(0) 推荐(0) 编辑
摘要: SQL的case when 不可重叠; SQL的case when 其子条件是互斥的,如果存在重叠,就会优先排定前面的; 如果需要重叠,暂时就不用case when ,可以直接用union all 解决; BUG 重现; select * ,case when ds between '2020112 阅读全文
posted @ 2022-02-09 19:33 ministep88 阅读(1558) 评论(0) 推荐(0) 编辑
摘要: SQL编辑器 SQL编辑器重点推荐navicat编辑器,文末附上mac,wins下载地址; 关于 Navicat “Navicat”是一套可创建多个连接的数据库管理工具,用以方便管理 MySQL、Oracle、PostgreSQL、SQLite、SQL Server、MariaDB 和/或 Mong 阅读全文
posted @ 2022-02-09 19:32 ministep88 阅读(2290) 评论(0) 推荐(0) 编辑
摘要: 运营需求拆解: 单一复购率公式(按周计算,需要计算从4.1-8.4的数据): 分子:本周和上周对同一商户都下过单的人数 分母:上周下过订单的总人数 注:需要考虑到可疑订单,即刷单的状况 需求拆解:难点在与分子计算; 需求进一步拆解:本周和上周对同同一商户下过单,则可以理解为用户的复购; 可以把用户和 阅读全文
posted @ 2022-02-09 19:32 ministep88 阅读(855) 评论(0) 推荐(0) 编辑
摘要: 用户在IM首次发送消息,到接收消息的时效问题? 场景:响应时效问题 示例 解决办法: 按照group组 和 type 分组,选取rn=1就可以圈定 首次发送和首次接收问题; 使用lead函数,即可获取下一次回复时间 答案如下 select ds ,type ,msg_timedate ,msgtim 阅读全文
posted @ 2022-02-09 19:31 ministep88 阅读(86) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2022-02-09 19:30 ministep88 阅读(0) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2022-02-09 19:29 ministep88 阅读(0) 评论(0) 推荐(0) 编辑
摘要: SQL经典面试题-连续3天登陆 【SQL经典面试题系列】前段时间六师妹去某团面试,回来后一直郁郁寡欢。好奇心下得知,原来是面试官要求小六用sql实现手写“连续3天登录用户”代码。这个问题虽然说难不难,但说易也不简单,而且,偏受大小厂喜欢。其实,不管是数仓/ETL/BI/数据分析/大数据等方向,都会经 阅读全文
posted @ 2022-02-09 19:27 ministep88 阅读(527) 评论(0) 推荐(0) 编辑
网站更新内容:请访问:https://bigdata.ministep.cn/