大模型&ai学习课程一些笔记

大头鹰，滚刀主播（不遵守规则的主播），KOL意见领袖，有些写得过于红色，小王Albert，有些国际时政和地缘冲突矛盾解析很锐利，小约翰可汗，乐子人，奇葩小国，你能看到国际共运对整个世界、第三世界还有两级争霸的影响。尤其是苏联对小国历史的影响；傅正，清华科班出身，时政研究院，世界观方法论都非常厉害；

 

 

用什么模型去解决问题？一个卷积对应一个区域，根据当前的图像区域去做结果，检测物体在哪？物体具体的位置和类别，提特征，如何让计算机去理解特征？

通过静止的图像去分析是否在跑？要用连续的动作，叫做行为识别，1找到人在哪2连续的输入序列去判断？但是因为动作和环境的变化频率不一样，所以要怎么处理特征，卷积提特征 1d 2d 3d，最后进行分类任务

姿态估计：根据图像的关键的骨骼点去做“姿态估计”，25个骨骼点，计算偏移量

状态估计：卡尔曼滤波是状态估计，状态估计举个通俗的例子就是，前一时刻在哪分析下一时刻可能在哪 比如这个预判敌方英雄走位，

①状态估计，可以得到匹配结果，只知道位置特征  ②引入自身特征，卷积跟谁的相似度高就判断谁是谁

点云 具体的图像信息，点就是点 有xyz坐标的叫做 “点 ”；逐点去判断 叫做 “分割”，每个点都有唯一的类别；

用不同视角去做投影，如何把周围的视角都投影出来；

加注意力机制，注意力特征是 啥特征重要就 多学一点 有价值的特征 最终结果才能好，比如你要让他注意前景你就要提醒他前景特征重要，要多利用前景特征少利用背景特征

通俗讲希望模型学什么 就引入注意力机制，注意力机制 别人和你说 看着点 红绿灯关注什么 你就会去注意

 

 

通用的结果，编码层提特征（初始化一些query向量，查 查你和我什么关系，每个区域算关系，每个地方都得算权重，每个都知道它应该考虑谁，算这些地方的权重大），解码层就是去预测检测，根据当前的特征去做长宽高算中心点，编码层提特征，解码层选特征，互相做cross-attention，对齐特征

编码层-自注意力机制self-attention提出权重特征；解码层-self-attention；跨越注意力cross-attention 讨论到底哪个是最重要的

学习是积累，积累的是一套模板，看源码debug 履源码的逻辑和理解细节

 

BEV鸟瞰图，使用transformer 去做多维度的融合，transformer考虑全局的 GNN 考虑邻居对我的影响，CV计算机视觉，CG 计算机图形学，

AI最大的作用就是提特征

1、学习基础模型

2、结合pytorch框架去解决自己的问题

3、opencv

 

卷积提特征 transformer也是提特征

词不仅和自己有关系，而且还和前后的上下文有关系，文本有语境有上下文

图像是按区域提特征，

x1和x2垂直  两个向量垂直 内积是0 代表关系不好，夹角越小关系越好

query 谁去问 提供查询向量q ，谁被问是则是key向量，两个向量算内积代表权重大小

 

初始化的条件的，模型训练学什么东西呢？权重查询矩阵Wq，训练得到的矩阵，训练得到特征

Q*k内积算权重 ，所以 x1= 权重*v1+权重*v2+。。。。=特征

两组权重就可以算出两种特种

 

注意力机制要提特征，需要算特征，qkv，得到最后的特征

如果是加入多注意力机制，则多头注意力机制，特征会更丰富，也就是更多的权重多样性，没有对错之分，都是特征

通过位置编码去变换特征对位置信息更敏感一代女

 

CG图像：每个区域和其他区域算关系；

NLP文本：每个词和其他词的联系，也可以做qkv

 

先做卷积 再做transformer，提完特征 用特征做预测，