摘要: 这个原因就一般是百度上大家说的,内存不足啦 但是死也得死个明白 用这个命令 看一下就知道了 我的是docker限制了内存的使用,导致killed 怎么知道docker 限制了多少内存呢 一目了然 阅读全文
posted @ 2018-12-05 16:18 littlepai 阅读(1014) 评论(0) 推荐(0) 编辑
摘要: BN,LN,IN,GN从学术化上解释差异: BatchNorm:batch方向做归一化,算NHW的均值,对小batchsize效果不好;BN主要缺点是对batchsize的大小比较敏感,由于每次计算均值和方差是在一个batch上,所以如果batchsize太小,则计算的均值、方差不足以代表整个数据分 阅读全文
posted @ 2020-08-28 16:48 littlepai 阅读(834) 评论(0) 推荐(0) 编辑
摘要: Mac reference https://blog.csdn.net/qq_32590631/article/details/80509741 reference https://blog.csdn.net/kl28978113/article/details/91047633 不用下载字体 阅读全文
posted @ 2020-04-09 11:41 littlepai 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 参考:https://zhuanlan.zhihu.com/p/40236865 faiss是Facebook开源的用于快速计算海量向量距离的库,但是没有提供余弦距离,而余弦距离的使用率还是很高的,那怎么解决呢 答案说在前面 knowledge_embedding = np.random.rando 阅读全文
posted @ 2019-12-31 12:47 littlepai 阅读(3541) 评论(0) 推荐(0) 编辑
摘要: faiss是Facebook的一个快速计算向量距离的库,适合要求快速计算海量向量距离的场景 docker已经限制了内存限制cpu,但是还是直接爆满宿主的cpu 阅读全文
posted @ 2019-12-31 10:54 littlepai 阅读(1041) 评论(0) 推荐(0) 编辑
摘要: 敲黑板,敲黑板,知乎验证码除了上面的实体,还有艺术字体的空心字体,空心字体要不要也模仿呢,不用,为啥啊,因为我们只是需要一个“别的类似的场景训练好的模型”,不需要包括那么全,只需要在迁移学习的时候少量包含空心字体的训练样本进行迁移学习就可以了,这也是迁移学习的强大体现 阅读全文
posted @ 2018-02-24 16:31 littlepai 阅读(3796) 评论(2) 推荐(2) 编辑
摘要: 对于没有足够已标记验证码的情况下,你可以想到GANs,迁移学习,甚至是打通内部工作人员给你足够的已标记验证码或者规则...,这里,我们就迁移学习来解决这个问题   对于爬虫对抗验证码,我们只要拥有上面验证码识别的深度学习模型就可以了,而其他反爬虫对抗手段,我们在扩展部分结合scrapy进行实战演练 阅读全文
posted @ 2018-02-23 16:41 littlepai 阅读(2702) 评论(0) 推荐(1) 编辑
摘要: 正负样本比率失衡SMOTE [TOC] 背景 这几天测试天池的优惠券预测数据在dnn上面会不会比集成树有较好的效果,但是正负样本差距太大,而处理这种情况的一般有欠抽样和过抽样,这里主要讲过抽样,过抽样有一种简单的方法叫随机过抽样,但是随机过抽样只是随机的复制,很容易过拟合,所以SMOTE比较好,SM 阅读全文
posted @ 2017-12-21 17:50 littlepai 阅读(2234) 评论(0) 推荐(0) 编辑
摘要: 重建主键索引为非压缩索引 删除约束的同时删除该约束对应的索引 数据库:Oracle 11.2.0.4 因为项目需要,需要将一个主键索引由压缩索引改为非压缩索引 这里的index_name代表了主键名称,也代表主键索引名称,两个同名 坑1 坑2 成功 阅读全文
posted @ 2017-11-17 18:01 littlepai 阅读(592) 评论(0) 推荐(1) 编辑
摘要: 基本思想 求出这样一些未知参数使得样本点和拟合线的总误差(距离)最小 最直观的感受如下图(图引用自知乎某作者) 而这个误差(距离)可以直接相减,但是直接相减会有正有负,相互抵消了,所以就用差的平方 推导过程 1 写出拟合方程 $y = a+bx$ 2 现有样本$(x_1, y_1),(x_2, y_ 阅读全文
posted @ 2017-11-16 16:11 littlepai 阅读(48521) 评论(3) 推荐(5) 编辑
摘要: 基本思想 模型已定,参数未知 根据已存在的样本,挑选(求出)能让样本以最大概率发生的参数 极大似然估计和最小二乘法最大区别之一 极大似然需要知道概率密度函数(离散型叫分布律) 若总体X属离散型,其分布律的形式是已知,为待估参数,是的取值范围 是来自的样本,的样本值为,则的联合分布律为: 似然函数就是 阅读全文
posted @ 2017-11-15 16:31 littlepai 阅读(950) 评论(0) 推荐(0) 编辑