07 2019 档案
摘要：在SQL Server中，视图是一个保存的T-SQL查询。视图定义由SQL Server保存，以便它能够用作一个虚拟表来简化查询，并给基表增加另一层安全。但是，它并不占用数据库的任何空间。实际上，在你查询它之前，视图并不做任何事情。 索引视图 在SQL Server 2000和2005中，你能够给视
阅读全文
摘要：本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 我们在《特征工程系列：特征筛选的原理与实现（上）》中介绍了特征选择的分类，并详细介绍了过滤式特征筛选的原理与实现。本篇
阅读全文
摘要：0x00 概述 数据分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计，或缺少明确而详细的说明，或缺少可落地实施的方案，或缺少具体的示例说明。 因此，本文将指出一种通用的数据仓库分层方法，具体包含
阅读全文
摘要：0x00 前言 数据埋点是一份上手容易精通难的典型例子，可以说人人都可以埋点，但是埋点质量差异巨大，而这份差异随着时间推移会加速放大。 埋点设计的复杂性不亚于系统设计，其应用的场景、牵涉的方面和背后的思考也是相对复杂的。数据埋点的质量是依赖于日志采集为源的数据系统的根基，所以埋点是整个数据体系中很值
阅读全文
摘要：0x00 序言 本节是实战环节，以极客时间app安卓端为例，综合运用前面介绍的知识点，来解构埋点设计。虽然极客时间还有服务号、小程序、PC端、IOS端等形式，但过程大同小异，不再单独介绍。 在第二节《埋点准备工作》中介绍到，埋点设计之前有四件准备工作要做，分别是了解产品、梳理旧需求、梳理旧埋点以及熟
阅读全文
摘要：埋点管理是埋点设计的组织方式，可以细分为面向开发者的管理、面向监控者的管理和面向使用者的管理。本节节介绍面向使用者的管理。通过本节的学习，你将获得以下方面的认知： 管理目的 管理准则 管理方式 埋点验收 管理目的 管理准则 管理方式 埋点验收 0x00 引言 埋点管理归结到底是元数据的管理，而且还是
阅读全文
摘要：本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x01 前言 前两节我们介绍了埋点设计四大思维，并给出了四种典型场景的埋点设计方式，本节介绍在埋点设计
阅读全文
摘要：关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x00 前言 在上节中我们介绍了埋点设计时四种主要思维方式，本节我们挑选典型的疑难埋点场景进行埋点设计。通过本节的阅读，你将获得以下典型场景埋点设计的认
阅读全文
摘要：0x00 前言 在前两篇《初识埋点》和《埋点之前》的基础上，我们应该有了对埋点的基本认识、知道了具体的开发流程。本篇在前面铺垫的基础上进入具体的埋点设计环节。通过本篇的阅读，你将获得以下五个埋点设计思维的认知。 漏斗思维 层次思维 扩展思维 分类思维 漏斗思维 层次思维 扩展思维 分类思维 0x01
阅读全文
摘要：关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x00 前言 上一篇我们初识了埋点，介绍什么是埋点、埋点的用途和埋点分类，那是不是马上就可以开始设计埋点了，答案是否定的。在埋点设计之前还有很多工作要做
阅读全文
摘要：关于作者：我是水大人，资深潜水员，一个基于开发、面向分析、走向全栈的饱经摧残的数据新手，爱折腾不爱玩，爱总结爱思考的老兵，错了改改了又错的惯犯。 0x00 前言 本篇为《七天数据埋点之旅》的第一篇，通过阅读本篇，你将获得以下三方面的知识： 什么是埋点？ 埋点的用途？ 埋点的分类？ 0x01 什么是埋
阅读全文
摘要：本文为数据茶水间群友原创，经授权在本公众号发表。 关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~ 0x00 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在
阅读全文
摘要：先上代码案例： 主要的操作： library(parallel);#加载并行计算包 cl <- makeCluster(8);# 初始化cpu集群 clusterEvalQ(cl,library(RODBC));#添加并行计算中用到的包 clusterExport(cl,'variablename'
阅读全文
摘要：一、进程 进程：指在系统中能独立运行并作为资源分配的基本单位，它是由一组机器指令、数据和堆栈等组成的，是一个能独立运行的活动实体。 注意，进程一般有三个状态：就绪状态、执行状态和等待状态【或称阻塞状态】；进程只能由父进程建立，系统中所有的进程形成一种进程树的层次体系；挂起命令可由进程自己和其他进程发
阅读全文
摘要：最近由于有抢票的需求，对于一个用户而言，用一个死循环，一个刷票就好了，刷到了就break退出。但是现在我要考虑同时给很多人抢，那么必须要考虑并发。但是这是一个耗时的任务，很可能几天都不能结束这个任务，所以这个和普通的java web并发不同。我在思考如何设置这个线程模型时引出了一个问题，之前还一直都
阅读全文
摘要：单核CPU与多核CPU工作原理今天要介绍一下单核CPU和单核（超时间轴）CPU以及多核CPU的工作原理 一.单核CPU起源：CPU的起源是1971年英特尔公司推出，由此正式宣告计算机的诞生，可以说是世界级的改变，并且严格准守冯诺依曼体系结构，在英特尔推出CPU之前的计算机所使用的处理器工作是非常麻烦
阅读全文
摘要：已经大半年没有更新博客了。。最近都跑去写分析报告半年没有R这次记录下关于R循环（百万级以上）死慢死慢的问题，这个问题去年就碰到过，当时也尝试过多线程，but failed......昨天试了下，终于跑通了，而且过程还挺顺利step1先查下自己电脑几核的，n核貌似应该选跑n个线程，线程不是越多越好，线
阅读全文
摘要：提升R语言运算效率的11个实用方法 众所周知，当我们利用R语言处理大型数据集时，for循环语句的运算效率非常低。有许多种方法可以提升你的代码运算效率，但或许你更想了解运算效率能得到多大的提升。本文将介绍几种适用于大数据领域的方法，包括简单的逻辑调整设计、并行处理和Rcpp的运用，利用这些方法你可以轻
阅读全文
摘要：数据库是极其重要的R语言数据导入源数据之地，读入包有sqldf、RODBC等。跟SQL server相连有RODBC，跟mySQL链接的有RMySQL。但是在R里面，回传文本会出现截断的情况，这一情况可把我弄得有点手足无措。一、数据库读入——RODBC包CRAN 里面的包 RODBC 提供了 ODB
阅读全文