摘要： 基于装饰器和inspect模块对函数参数类型进行检查。 from functools import wraps from inspect import signature def assert_type(*type_args, **type_kwargs): def is_type(value, t 阅读全文

摘要： Stateful Functions 基于Apache Flink的事件驱动数据库 转自：https://blog.csdn.net/yanyan45/article/details/105622238 原文：https://flink.apache.org/news/2020/04/07/rele 阅读全文

摘要： 转自：https://www.cnblogs.com/fanghao/p/9811187.html Protocol Buffers，是Google公司开发的一种数据描述语言，类似于XML能够将结构化数据序列化，可用于数据存储、通信协议等方面。就可读性而言感觉没有JSON直接，不过由于使用二进制传输 阅读全文

摘要： 对于右偏长尾数据进行建模时，使用其他分布的损失函数（如对应高斯分布的MSE损失）效果可能不好。此时可考虑使用基于tweedie分布的损失函数进行建模。 tweedie分布 tweedie分布式是一类特殊的指数衰减模型（exponential disperse model，EDM）。其方差和期望的关系 阅读全文

摘要： 前言 Spark Shuffle是大众讨论的比较多的话题了。它是Spark任务执行过程中最为重要的过程之一。那么什么是Shuffle呢？ Shuffle一般被翻译成数据混洗，是类MapReduce分布式计算框架独有的机制，也是这类分布式计算框架最重要的执行机制。接下来会按照两个层面来谈谈Shuffl 阅读全文

摘要： 当时序数据不连续时，需要将连续的数据划分为一块，基于pandas dataframe的方案如下。 >>> df DateAnalyzed Val 1 2018-03-18 0.470253 2 2018-03-19 0.470253 3 2018-03-20 0.470253 4 2017-01-2 阅读全文

摘要： 摘要 本文对lgb的基本原理进行简要概括。 基于直方图的节点分裂 lgbm使用基于直方图的分裂点选择算法，分裂准则为最小化方差，也即最大化方差增益variance gain： 对比xgb的loss reduction： 可以发现，两者是一致的，不同点在于，xgb的loss reduction包含了正 阅读全文

摘要： 摘要 XGBoost是GBDT的一个高效实现，本文对xgboost的实现细节进行记录。 算法原理 正则化损失（regularized loss objective） 为避免过拟合，xgb使用带正则化项的损失函数。正则化项包含两部分：树的叶子节点个数和每个叶子节点的分数。 梯度树提升（gradient 阅读全文

摘要： 摘要：常规的神经网络权重是一个确定的值，贝叶斯神经网络（BNN）中，将权重视为一个概率分布。BNN的优化常常依赖于重参数技巧（reparameterization trick），本文对该优化方法进行概要介绍。 论文地址：http://proceedings.mlr.press/v37/blundel 阅读全文

摘要： 摘要：Tensorflow Distributions提供了两类抽象：distributions和bijectors。distributions提供了一系列具备快速、数值稳定的采样、对数概率计算以及其他统计特征计算方法的概率分布。bijectors提供了一系列针对distribution的可组合的确 阅读全文