摘要：
原文地址： https://terrifyzhao.github.io/2019/02/18/BERT原理.html Bert其实并没有过多的结构方面的创新点，其和GPT一样均是采用的transformer的结构，相对于GPT来说，其是双向结构的，而GPT是单向的，如下图所示 结构 先看下bert的
阅读全文
posted @ 2019-09-11 17:38
AzkaBan
阅读(1266)
推荐(0)
编辑
摘要：
原文地址： https://terrifyzhao.github.io/2019/01/04/Attention模型详解.html attention是一种能让模型对重要信息重点关注并充分学习吸收的技术，它不算是一个完整的模型，应当是一种技术，能够作用于任何序列模型中。 传统Seq2Seq 在开始讲
阅读全文
posted @ 2019-09-10 14:36
AzkaBan
阅读(302)
推荐(0)
编辑
摘要：
原文地址： https://terrifyzhao.github.io/2019/01/11/Transformer模型详解.html Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ，目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领
阅读全文
posted @ 2019-09-10 14:35
AzkaBan
阅读(982)
推荐(0)
编辑
摘要：
什么时候用指针, 什么时候用值传递, 结构体、尤其sync包下的， 都要用指针传递; 而一些轻量的数据可以使用值传递,也不改变其值;尽量避免反射，在高性能服务中杜绝反射的使用多进行复用, 使用sync.Pool 线上问题优化:批量读与写, 主要问题: CPU占用过高, 主要因为申请释放大量资源造成的
阅读全文
posted @ 2019-09-04 15:08
AzkaBan
阅读(1808)
推荐(0)
编辑
摘要：
平衡二叉树： 父节点的左子树和右子树的高度之差不能大于1，也就是说不能高过1层，否则该树就失衡了，此时就要旋转节点，在编码时，我们可以记录当前节点的高度，比如空节点是-1，叶子节点是0，非叶子节点的height往根节点递增，比如在下图中我们认为树的高度为h=2。 /* 1 写出以下逻辑，要求每秒钟调
阅读全文
posted @ 2019-09-04 14:18
AzkaBan
阅读(480)
推荐(0)
编辑
摘要：
###应用： 数据接口API， 自动邮件 ### 1. 值传递与引用传递 -> 1. 任何值传递都无改变原始值(map自带地址属性, 数组内的元素自带地址属性)， 其他只能通过地址引用； func do(a *[]int){ *a=append(*a,5)} var a = []int{1,2,3}
阅读全文
posted @ 2019-09-04 14:17
AzkaBan
阅读(249)
推荐(0)
编辑
摘要：
1. Java heap space -> 超大对象, 通常是大数组 (查询结果过大， 没有限制就放入数组); -> 内存泄漏, 资源没有回收; 解决: -Xmx 参数调高 JVM 堆内存空间, 限流， 做好资源回收; 2. Permgen space or Metaspace 原因： class数
阅读全文
posted @ 2019-08-07 15:07
AzkaBan
阅读(335)
推荐(0)
编辑
摘要：
################## pd tf 相关使用技巧 ##################python 函数只能都放在一个包里。。。python 的with 相当于 golang 的 deferpython 包在导入时不能互相嵌套, test1 import test2 test2 imp
阅读全文
posted @ 2019-08-05 10:33
AzkaBan
阅读(1373)
推荐(0)
编辑
摘要：
1. 主要记录了 SparkStreaming的设计结构 以及 SparkStreaming 对Kafka的两种接收处理数据的流程， 希望对有需要的人可以提供帮助。 -> SparkStreaming整体架构
阅读全文
posted @ 2019-06-17 17:03
AzkaBan
阅读(404)
推荐(0)
编辑
摘要：
以下是对Spark总体架构 - 内存模型 - 算子的一些总结与理解， 希望能对需要的人能提供帮助。 1. Spark整体架构 2. Spark内存模型 3. 对算子的理解
阅读全文
posted @ 2019-06-17 17:00
AzkaBan
阅读(261)
推荐(0)
编辑
