摘要：
提到token，不得不提tokenization（分词）。分词就是将句子、段落、文章这类型的长文本，分解为以字词（token）为单位的数据结构。 比方说，在句子 “我很开心” 中，利用中文分词得到的列表是{“我”，“很”，“开心”}，列表中的每一个元素代表一个token。 不同的分词策略，会导致不同 阅读全文
posted @ 2023-03-04 07:48 蝈蝈俊 阅读(4477) 评论(0) 推荐(1) 编辑
摘要：
目的：跑通下面代码 相关代码 from torch import nn import torch import jieba import numpy as np raw_text = """越努力就越幸运""" words = list(jieba.cut(raw_text)) print(word 阅读全文
posted @ 2023-03-02 08:40 蝈蝈俊 阅读(43) 评论(0) 推荐(0) 编辑
摘要：
嵌入(Embedding)是用向量表示一个物体，这里所说的物体可以是人，是实体，是虚拟物品，比如：一个单词、一条语句、一个序列、一件商品、一个动作、一本书、一部电影、一个人等等。 可以说嵌入涉及机器学习、深度学习的绝大部分对象，这些对象是机器学习和深度学习中最基本、最常用、最重要的对象，正因如此，如 阅读全文
posted @ 2023-03-01 10:45 蝈蝈俊 阅读(3995) 评论(1) 推荐(0) 编辑
摘要：
在Encoder-Decoder模型框架我们提到： 不论输入和输出的语句长度是什么，中间的上下文向量长度都是固定的。 一旦长度过长，仅仅靠一个固定长度的上下文向量解码，会有信息瓶颈，可能会丢失信息的问题。 解决方法就是注意力机制。 在了解注意力机制之前，先请看《圣母与圣吉凡尼诺》这幅由佛罗伦萨画家多 阅读全文
posted @ 2023-02-26 20:02 蝈蝈俊 阅读(266) 评论(0) 推荐(0) 编辑
摘要：
Seq2Seq（Sequence-to-Sequence，序列到序列）问题是一类特殊的序列建模问题，其中的Encoder和Decoder都是一个序列。 Encoder-Decoder模型框架（编码器-解码器模型框架）最早在2014年提出，当时是为了解决机器翻译的问题（机器翻译就是一个典型的Seq2S 阅读全文
posted @ 2023-02-24 22:03 蝈蝈俊 阅读(2366) 评论(1) 推荐(0) 编辑
摘要：
业务在快速增长期，一般很少考虑成本问题，但随着业务量变大，成本也开始变大了，成本问题的重视程度逐渐显现。 由于技术规划（LRP）和技术预算编制大部分情况是架构师在负责，对应的成本技术运营也会让架构师牵头，推动各个子团队降本增效。 如何做成本的技术运营，关键点在哪里？有什么容易犯的错误，这是本文要讲的 阅读全文
posted @ 2023-02-22 16:36 蝈蝈俊 阅读(38) 评论(0) 推荐(0) 编辑
摘要：
在当下各行各业，同质化算是一个很普遍的问题，与“同质化”对应的词，便是“差异化”。差异化是指企业在顾客广泛重视的某些方面，力求在本产业中独树一帜。 “差异化”并非可有可无，而是生存之道 如果无视“差异化”的影响，盲目投身于同质化的竞争之中，同时成本又比不过对手，必然会撞个头破血流。 知乎上一位网友表 阅读全文
posted @ 2023-02-22 10:47 蝈蝈俊 阅读(31) 评论(0) 推荐(0) 编辑
摘要：
文本是时序型数据，词与词之间的顺序关系往往影响整个句子的含义。这里我整理了一些顺序不同，含义不同的例子。 传统的RNN模型在处理句子时，以序列的模式逐个处理句子中的词语，这使得词语的顺序信息在处理过程中被天然的保存下来了，并不需要额外的处理。 而对于Transformer来说，由于句子中的词语都是同 阅读全文
posted @ 2023-02-20 19:41 蝈蝈俊 阅读(3180) 评论(0) 推荐(0) 编辑
摘要：
我们换工作时、做投资时，都会聊到赛道，赛道选择，逐渐成为一项人人必备的基础能力。 什么是赛道？ 赛道是比产业、行业更小的聚合范围概念。为什么现在，我们很少说行业，而是赛道呢？社会组织愈加细化，需要组织承担的职责也更加细化，也有了赛道一说。 赛道原指某些运动赛事的轨道，身处赛道中的是赛手。赛道意味着一 阅读全文
posted @ 2023-02-18 21:42 蝈蝈俊 阅读(418) 评论(0) 推荐(0) 编辑