04 2021 档案
摘要：一、提前停止 ▪ Validation set to select parameters ▪ Monitor validation performance ▪ Stop at the highest val perf. 二、DroupOut 注意：在训练时，要加上Training=True，其他都是
阅读全文
摘要：一、动量 1、普通梯度更新与加上动量的梯度更新。 解释：原先更新的方向是梯度方向，现在多了一个Z方向，即现在是结合了历史惯性。 二、学习率缓慢减少 解释：学习率太大和太小都不太好
阅读全文
摘要：一、减少过拟合 奥卡姆剃刀原理：没必要的东西尽量少用。 因此过拟合有以下几种： （1）更多数据 （2）限制网络复杂性：使用浅层网络、新数据集使用大网络后加惩罚。 （3）droupout （4）数据增强 （5）用验证数据早停。 二、损失函数加惩罚 1、原始 2、加惩罚项以后 三、加惩罚项方法 1、ke
阅读全文
摘要：1. 介绍 1.1. 论文提出的背景 虽然在一般情况下，我们不会去区分训练和部署使用的模型，但是训练和部署之间存在着一定的不一致性: 在训练过程中，我们需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到。而大模
阅读全文
摘要：一、数据集分割 1、训练集、测试集 2、训练集、验证集、测试集 步骤： （1）把训练集60K分成两部分，一部分50K，另一部分10K。 （2）组合成dataset，并打乱。 二、训练过程评估 1、训练的过程评估 其中，第二行是训练，总轮数是5，每两轮做一次评估，达到的效果好的话提前停止。 2、在测试
阅读全文
摘要：一、前言 参考：https://zhuanlan.zhihu.com/p/73176084 代码：https://link.zhihu.com/?target=https%3A//github.com/649453932/Chinese-Text-Classification-Pytorch 代码：
阅读全文
摘要：一、资源 （1）预训练模型权重 链接: https://pan.baidu.com/s/10BCm_qOlajUU3YyFDdLVBQ 密码: 1upi （2）数据集选择的THUCNews，自行下载并整理出10w条数据，内容是10类新闻文本标题的中文分类问题（10分类），每类新闻标题数据量相等，为1
阅读全文
摘要：1，概述 任务型对话系统越来越多的被应用到实际的场景中，例如siri，阿里小密这类的产品。通常任务型对话系统都是基于pipline的方式实现的，具体的流程图如下： 整个pipline由五个模块组成：语音识别；自然语言理解；对话管理；自然语言生成；语音合成。现在越来越多的产品还融入了知识库，主要是在对
阅读全文
摘要：一、传入一个参数 我们先在桌面新建“arg学习”的文件夹，在该文件夹中新建demo.py文件，来看一个最简单的argsparse库的使用的例子。 import argparse parser = argparse.ArgumentParser(description='命令行中传入一个数字') #t
阅读全文
摘要：一、代码 import tensorflow as tf from tensorflow.python.keras import datasets, layers, optimizers, Sequential, metrics from tensorflow.python import keras
阅读全文
摘要：一、第一种：只保存权值 import tensorflow as tf from tensorflow.python.keras import datasets, layers, optimizers, Sequential, metrics import os os.environ['TF_CPP
阅读全文
摘要：一、讲解 二、代码 import tensorflow as tf from tensorflow.python.keras import datasets, layers, optimizers, Sequential, metrics from tensorflow.python import
阅读全文
摘要：一、简介 不用keras时候： 二、用keras简写训练过程 现在的写法，首先指定下面的compile以后，直接在下面fit一下，然后这个epoch就是指定上涨图片中的sclice中的10，就是10次epoch,每次traning的loss是按照下面的traing计算，得到一个gradient以后，
阅读全文
摘要：一、Keras五大功能 二、评估指标用法 有一个现成的准确度的meter就是 m e t r i c s . A c c u r a c y ( ) metrics.Accuracy()metrics.Accuracy()。如果只是简单的求一个平均值的话，有一个更加通用的meter就是 m e t
阅读全文
摘要：一、概况 其中visdom显示界面可以看出更加的丰富，可以画各种各样的图像。 二、安装与工作原理 pip install tensorboard cpu运行一个程序，有一个tensor在这里流动；它会磁盘的某一个目录写数据；比如写在目录logs，写在这个目录下面以后，这个目录对应的文件格式就会被更新
阅读全文
摘要：collections collections是日常工作中的重点、高频模块，常用类型有： 计数器（Counter） 双向队列（deque） 默认字典（defaultdict） 有序字典（OrderedDict） 可命名元组（namedtuple） 1. Counter Counter作为字典dici
阅读全文
摘要：一、ConfigParser简介 ConfigParser 是用来读取配置文件的包。配置文件的格式如下：中括号“[ ]”内包含的为section。section 下面为类似于key-value 的配置内容。 [db] db_host = 127.0.0.1 db_port = 69 db_user
阅读全文
摘要：一、main函数 import torch import tqdm from sklearn.metrics import roc_auc_score from torch.utils.data import DataLoader from torchfm.dataset.avazu import
阅读全文
摘要：一、代码 import torch.optim as optim import torch.utils.data as Data import torch.nn.functional as F from model.word_2_vector import WordEmbedding import
阅读全文
摘要：BiLSTM_Attention实现
阅读全文
摘要：一、预备知识 1、nn.Embedding 在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding. # -*- coding: utf-8 -*- import numpy as np import torch import torch.nn as n
阅读全文
摘要：PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的
阅读全文
摘要：聚类（Clustering），顾名思义就是“物以类聚，人以群分”，其主要思想是按照特定标准把数据集聚合成不同的簇，使同一簇内的数据对象的相似性尽可能大，同时，使不在同一簇内的数据对象的差异性尽可能大。通俗地说，就是把相似的对象分到同一组。 聚类算法通常不使用训练数据，只要计算对象间的相似度即可应用算
阅读全文
摘要：一、选取列 import pandas as pd df = pd.read_csv('zhihutest.csv', sep="\t") # 类别特征(16) fixlen_category_columns = ['m_sex', 'm_access_frequencies', 'm_twoA',
阅读全文
摘要：一、代码 import tensorflow as tf from tensorflow import keras from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics import os os.
阅读全文
摘要：一、函数 绘图代码 import tensorflow as tf import numpy as np from mpl_toolkits.mplot3d import Axes3D import matplotlib.pyplot as plt import os os.environ['TF_
阅读全文
摘要：求梯度
阅读全文
摘要：tensorflow(二十一)：误差计算方法（MSE和交叉熵）
阅读全文
摘要：tensorflow(二十)：输出、损失函数
阅读全文
摘要：tensorflow(十九)：全连接层
阅读全文
摘要：一、测试 import tensorflow as tf from tensorflow import keras from tensorflow.keras import datasets import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # x
阅读全文
摘要：tensorflow(十七)：数据的加载
阅读全文
摘要：tensorflow(十七)：高阶操作：tf.where()，tf.scatter_nd()， tf.meshgrid()
阅读全文
摘要：tensorflow(十六)：张量的限幅（tf.clip_by_value()、 tf.clip_by_norm()、 tf.clip_by_global_norm()）
阅读全文
摘要：tensorflow(十五)：填充与复制（pad、 tile、 broadcast_to）
阅读全文
摘要：tensorflow(十四)：张量排序（ Sort/argsort， Topk， Top-5 Acc.）
阅读全文
摘要：数据统计（ tf.norm、 tf.reduce_min/max、 tf.argmax/argmin、 tf.equal、 tf.unique）
阅读全文