随笔分类 - 数据挖掘/机器学习
摘要：torchserve是Facebook和AWS联手开发的一款用于机器学习模型部署和调用的微服务程序。 网址：https://pytorch.org/serve/ Torchserve调用的模型文件是 .mar 文件，pytorch生成的模型文件要使用 torch-model-archiver 来转换
阅读全文
摘要：tensorflow从1.6版本开始对CPU要求支持AVX指令集。 导致老电脑安装tensorflow的python预编译包时后，在python中import tensorflow会报错（illegal instruction）。 解决办法 1. 自己编译tensorflow 2. github上搜
阅读全文
摘要：最近在研究NLG，看了很多资料顺便整理一下收获。 使用DeepLearning技术在NLP领域，最初是从词向量和RNN开始的。 词向量（Embedding/Word2Vec） 词向量早在2003年就被提出了，当时机器学习都不火，所以没引起注意。但是随着深度学习大行其道，词向量重新火了起来。 词向量的
阅读全文
摘要：mxnet 出现错误 RuntimeError: CUDA out of memory. Tried to allocate windows下可以这样做：打开cmd窗口，输入nvidai-smi查看显卡使用情况如图 windows杀进程： taskkill /F /PID 1234 var code
阅读全文
摘要：参考xgboost官网文章： https://xgboost.readthedocs.io/en/latest/jvm/xgboost4j_spark_tutorial.html Parallel/Distributed Training The massive size of training d
阅读全文
摘要：参考这篇文章： https://blog.csdn.net/dpppBR/article/details/80445569 谈一下我的理解，在GPU的机器学习过程中，传统的做法有类似MapReduce的地方，把数据分成若干个小块，每个小块在一个GPU上训练（Map），然后把训练得到的神经网络参数汇总
阅读全文
摘要：竞赛地址: https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting 第一名方案: https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting/d
阅读全文
摘要：Kaggle 地址 参考模型 其实这个项目的关键点在与存在大量的离散的特征，对于离散的维度的处理方法一般就是把每个离散维度的每个特征水平都像SQL行列装换那样转成一个维度，这个维度下的值只有0或1。但这样势必会导致维度暴增。这个项目就是典型，用merge函数把用户表和活动表链接后，存在大量的离散维度
阅读全文
摘要：一、装袋 对样本空间 D 进行 放回抽样，得到样本空间的一个子集 Di，由Di得到一个 分类器Mi。 不断的重复上述过程，就可以得到一系列分类器 M1,M2,M3....Mi ，在分类时用这些分类器进行投票来决定分类。 在R语言中装袋的函数存在于ipred （Improved Predictors）
阅读全文
