摘要：
观测值与预测值之间的差就是残差，残差符合正态分布 计算结果表明： Total Variation = Residual Variation + Regression Variation 总波动（Y与Y均值的平方和[方差]） = 残差波动（Y与Y观测值的差的平方和） + 回归波动（Y观测值与Y均值的差 阅读全文
摘要：
英国统计学家弗朗西斯·高尔顿提出的高尔顿定律，结论： 身材较高的父母，他们的孩子也较高，但这些孩子的平均身高并没有他们的父母的平均身高高；身材较矮的父母，他们的孩子也较矮，但这些孩子的平均身高却比他们的父母的平均身高高。 图形展示的结果如下： 横坐标是父母的身高，纵坐标是孩子的身高。紫色小框的数据代 阅读全文
摘要：
Residuals 残差 用最小二乘法提出两个等式 也许回归模型的关键洞见是适合他们生产高度可翻译的模型。这是与机器学习算法,它常常牺牲可解释性改善预测性能或自动化。当然,这些都是有价值的属性在他们自己的权利。然而,简单的好处,吝啬和intrepretability回归模型(和他们的亲密归纳)应该使 阅读全文
摘要：
01 Introduction Regression toward the mean 趋均数回归 弗朗西斯·高尔顿 他在论及遗传对个体差异的影响时，首次提到了相关系数的概念。比如他研究了“居间亲”和其成年子女的身高关系，发现居间亲和其子女的身高有正相关，即父母的身材较高，其子女的身材也有较高的趋势。 阅读全文
摘要：
设置数据库单用户模式后, 发现用系统管理员账号无法连接数据库, 用sa账号也不行. 首先, 马上去查了一下有什么进程比这个连接给占用了 但查不到有任何用户进程正在进行, 于是又单独查询系统进程 看到有3~5个系统进程在不断运行, 用户是sa, program_name 是 task manager 阅读全文
摘要：
本设计基于以下需求提出 1. 快速接入数据源表(贴源/落地) 2. 无须给单独表开发转换/作业 3. 动态生成数据源连接, 表字段等信息(预先保存在数据仓库中) 本设计所需条件 1. 数据源为关系型数据库 2. 不同数据源需要写一小段Java Scripts以保证数据源连接可用 总体作业结构 jb_ 阅读全文
摘要：
20160919(未确定): 加载表的使用"Use batch update for inserts"会引致奇怪的转换失败? 出错日志: - linenr 450000- linenr 500000- ERROR (version 5.4.0.1-130, build 1 from 2015-06- 阅读全文
摘要：
需求: 由于公司一些旧系统在开发上线时没有考虑到数据需要备份删除的问题, 导致系统使用了十年之后数据库过大, 需要进行紧急的实时备份删除数据 1. 备份数据到备份库 2. 删除数据 3. 收缩数据库数据文件 因为需要尽量减少对系统的影响, 一般会按一下步骤操作 1. 如为系统不需要实时查询的表(如系 阅读全文
摘要：
需求: 增量抽取MongoDB数据并加载到MSSQL 由于不能使用关系型数据库的自定义SQL, 所以主要遇到的问题有: 第一个问题的解决如下: 使用命名参数在Query页中进行过滤, 一开始会担心${}的引用方式会用Mongo的语法冲突, 测试后发现运行正常 第二个问题: 先为结果增加常量值, 如常 阅读全文
摘要：
需求: 在作业步骤中使用sp_send_dbmail发出邮件, 并将数据库中的日志表通过@query参数导出文本作为邮件附件 遇到错误: 服务器 DB-DWH-1，第 1 行 服务器主体 "NT AUTHORITY\SYSTEM" 无法在当前安全上下文下访问数据库 "DW"。 [SQLSTATE 4 阅读全文