一天不进步，就是退步！

摘要： 从 Pytorch 转向 Tensorflow 已有一段时间，直到今天也没发现太好的 Pytorch 教程，心想倒不如自己写一个系列。除技术文章，也写写其他方面的东西。 2017年3月1号，我发布了第一篇公众号文章。随后也陆陆续续的发表了几篇，但毕竟没坚持下来。这两年经历了不少事，想着是时候把这个烂 阅读全文

摘要： 介绍几种Python异步执行的方式 参考： "官方文档" "python 实现异步执行" "Python中协程异步IO" 通过 threading.Thread 实现 先将需要异步执行的函数用线程的方式包装为一个装饰器，然后拿去装饰需要异步执行的函数即可。 下面构造两个函数 A 函数用 async_ 阅读全文

摘要： 总览 第一、每个spark 应用都有一个驱动程序去运行着主函数和再每个节点上的并行操作。 spark提供了一个RDD（弹性分布式数据集）的数据集合，可以通过不同的节点并行操作运算，可以通过hdfs文件构建。RDD可以在内存中进行缓存，当需要复用的时候会有更高的效率。 第二、提供了共享变量（share 阅读全文

摘要： 架构图 要点 1. 推荐流程设计 解决信息过载问题 召回 协同过滤召回 内容相似召回 热门召回 新物品召回 等等 排序 LR GBDT/XGB/LGB DNN Wide&Deep 调整 去重 规则过滤 热门补充 其他规则调整 2. 同步业务数据 为避免推荐系统的数据读写、计算对业务系统的影响，推荐系 阅读全文

摘要： 需求分析 针对海量图片去重通常是如下思路 1. 根据某种方法提取图片特征或者说指纹 2. 根据提取出来的特征计算图片间的距离 3. 根据距离调整阈值判断图片是否相似 1、提取指纹 常用的有如下方法： 1. ahash 2. phash 3. dhash ahash 1. 将图片灰度 2. 将图片re 阅读全文

摘要： Env: os: Ubuntu python3 pytorch vscode Desc 在上述环境中运行A3C多进程模型，使用命令行时没问题，使用vscode时出现 'RuntimeError: already started' 的错误， 具体错误信息如下： Solution 在自己的代码头添加以下 阅读全文

摘要： PIP 各种可用源 清华源：https://pypi.tuna.tsinghua.edu.cn/simple 临时指定源 永久更改源 linux下： 1. vim ~/.pip/pip.conf 2. 添加以下内容 windows下： 1. 在用户目录下：C:\Users\Administrator 阅读全文

摘要： 问题 运行 huggingface transformers 的 demo，报错FloatProgress not found。具体如下： 报错： 解决： 添加 from ipywidgets import IntProgress 阅读全文

摘要： 问题 Python 中的迭代器是我们经常使用的迭代工具， 但其只能消费一次，再次消费便会出现 StopIteration 报错。 解决方案 封装了一个类，当迭代器使用完后再次初始化。 代码 阅读全文

摘要： 计算文件MD5 阅读全文