real-zhouyc

2021年7月17日

摘要： val aggCols = List("Pclass","Age","Fare") .map(colName=>functions.avg(colName).as("avg_"+colName)) df.groupBy("Survived").agg(aggCols.head,aggCols.tai 阅读全文

posted @ 2021-07-17 17:49 real-zhouyc 阅读(73) 评论(0) 推荐(0) 编辑

spark 计算前后两条记录之间的差(diff)，时间差等

摘要：有时候会遇到这样的场景：有一个datafram，我们需要计算同一组对象中，前后两条记录之间的差值，此处并不仅限于时间，还可以是其他的数据类型需要用到两个工具：spark窗口函数Window对对象分组以及lag函数 val df = Seq( ("notebook","2019-01-01 00:0 阅读全文

posted @ 2021-07-17 12:06 real-zhouyc 阅读(1961) 评论(0) 推荐(0) 编辑

scala 生成指定日期范围的list

摘要：可以通过scala中的流处理，生成指定范围内的日期list import java.time.LocalDate def dateStream(fromDt:LocalDate):Stream[LocalDate]={ fromDt #::dateStream(fromDt.plusDays(1)) 阅读全文

posted @ 2021-07-17 11:22 real-zhouyc 阅读(450) 评论(0) 推荐(0) 编辑

2020年12月24日

Leetcode-最小覆盖子串

摘要：题目描述给你一个字符串 s 、一个字符串 t 。返回 s 中涵盖 t 所有字符的最小子串。如果 s 中不存在涵盖 t 所有字符的子串，则返回空字符串 "" 。注意：如果 s 中存在这样的子串，我们保证它是唯一的答案。示例 1：输入：s = "ADOBECODEBANC", t = "ABC" 阅读全文

posted @ 2020-12-24 22:29 real-zhouyc 阅读(109) 评论(0) 推荐(0) 编辑

2020年12月2日

Graph Embedding-DeepWalk

摘要：一言以蔽之，DeepWalk是在graph上，通过随机游走来产生一段定长的结点序列，并将其通过word2vec的方式获得各个结点的embedding的算法。 DeepWalk一共涉及以下几个内容：随机游走的一些知识 DeepWalk如何做随机游走 Word2Vec的一种训练方式 DeepWalk 阅读全文

posted @ 2020-12-02 16:56 real-zhouyc 阅读(213) 评论(0) 推荐(0) 编辑

2020年10月14日

协议与共识机制

摘要： https://blog.nowcoder.net/n/f85c3019c42f454390cad12fa147b28d 在某个节点找到符合要求的nonce，获得记账权的过程中，有效的防止了女巫攻击，因为即使增加恶意节点数量，每个节点都需要进行那么多的计算阅读全文

posted @ 2020-10-14 20:19 real-zhouyc 阅读(193) 评论(0) 推荐(0) 编辑

BTC的数据结构

摘要：区块链是一个个block所构成的链，或者链表状的数据结构，在比特币中或者区块链中，一个重要的组成部分是哈希指针指针在程序运行过程中，需要用到数据。最简单的是直接获取数据，但当数据本身较大，需要占用较大空间时，明显会造成一定麻烦。因此，可以引入指针这一概念。当需要获取数据时，只需要按照指针所给的地阅读全文

posted @ 2020-10-14 14:52 real-zhouyc 阅读(362) 评论(0) 推荐(0) 编辑

区块链与密码学

摘要：以比特币为例子，比特币作为区块链的经典应用，其本质是一种加密货币，但实际上，比特币是不加密的，区块链上的所有信息都是公开的，包括账户的地址、交易记录、金额等等。比特币主要用到了密码学中的2个功能，一个是哈希，另一个是签名；这也是区块链中涉及到密码学部分的主要功能。哈希(散列)函数哈希函数是可以阅读全文

posted @ 2020-10-14 13:18 real-zhouyc 阅读(742) 评论(0) 推荐(0) 编辑

2020年9月23日

特征工程

摘要：特征工程很重要，特征工程主要包含：特征构建和提取、特征处理、特征选择等几个方面。不同应用场景下，需要有的放矢的做一些特征工程的工作。特征构建和提取特征构建基本上就是从原始的数据中抽取出我们需要的特征。一方面需要结合业务知识，另一方面可以结合数据分析得到一些特征的灵感。特征处理经过提取的特征，阅读全文

posted @ 2020-09-23 14:06 real-zhouyc 阅读(642) 评论(0) 推荐(0) 编辑

Pooling层的作用

摘要： https://www.cnblogs.com/makefile/p/pooling.html 阅读全文

posted @ 2020-09-23 11:25 real-zhouyc 阅读(309) 评论(0) 推荐(0) 编辑

公告