摘要：
信息论，主要用于量化信息。 事件发生的概率越大，包含的信息就越少。例如“太阳从东边升起”，信息量就很少。 1、自信息（self-information） 两个独立事件发生所包含的信息，等于各自发生包含的信息之和。 2、熵（entropy） 信息量的期望。 3、KL散度 也叫相对熵（relative 阅读全文
摘要：
概率论 不确定性 量化 频率 频率派 贝叶斯派 1、随机变量（random variable） 随机取不同值的变量，取值可以离散或者连续。 2、概率分布（probability distribution） 描述随机变量每个取值的可能性大小。 离散：概率质量函数（probability mass fu 阅读全文
摘要：
BERT模型 阅读全文
摘要：
均方误差 阅读全文
摘要：
逻辑回归 参考链接 https://zhuanlan.zhihu.com/p/44591359 阅读全文
摘要：
线性回归（Linear Regression），顾名思义，输出是输入的线性函数。因为通常会附加偏置（bias）参数，所以实际是仿射函数。 参考链接： http://cs229.stanford.edu/notes/cs229-notes1.pdf 阅读全文