pytorch下的lib库 源码阅读笔记（2）
2017年11月22日00:25:54
对lib下面的TH的大致结构基本上理解了，我阅读pytorch底层代码的目的是为了知道
python层面那个_C模块是个什么东西，底层完全黑箱的话对于理解pytorch的优缺点太欠缺了。
看到 TH 的 Tensor 结构体定义中offset等变量时不甚理解，然后搜到个大牛的博客，下面是第一篇：
快速浏览了一下这个系列，看的压力山大。。。
大致理解是offset是为了让Tensor在内存中线性化存储，计算和传输成本低。又猛然搜到python层面对
Tensor的文档。原来底层的函数在python层面都有一定的体现。看pytorch的文档就够了。
TH在编译完后相关头文件和TH.so已经放到系统路径中了，后面的库都可以直接调用TH。
跳过THS，看了下THNN，文件结构是并列的。主要是TH_TENSOR_APPLY宏函数比较有意思。出现在
THTensor相关文件中，被THNN大量运用。研究下应该也是不难理解的。
gpu版本的THC,THCS,THCNN都一概跳过，没学过cuda，掌握了cuda的语法，结合TH的经验，看懂这几个
应该不难，nccl跳过。搞完python源码剖析后再拿出些时间来学cuda。
THPP值得研究，用C++封装C。
2017年11月24日21:27:06
这两天看完了vamei的 linux系列，接着又快速扫了一遍 python源码剖析 ，有vamei的博客在前，
看 python源码剖析 基本上无痛苦。剖析这本书以后肯定还是要反复阅读的。
另外有一篇不错的博客： pytorch源码：C扩展 顺腾摸瓜可以找到其他几篇重要的博客。
2017年11月28日00:13:00
接下来的几天会试图完成一个有点复杂的自定义的C++或者C的矩阵类，并且带几个矩阵运算，将这个
矩阵类注册到python中，让其表现和python自带的数据类型有差不多的表现。比如可继承。
搜到一个有点意思的博客：
http://www.xefan.com/categories/Python%E6%A0%8F%E7%9B%AE/
pytorch的大体结构差不多是TH、THNN、ATen干具体的计算的活，THPP封装一下。
然后csrc把相关类型注册到python中，让其在python中被无缝调用。
pytorch中python层面的Variable和Function类都定义在csrc的autograd中。看README
有一些简单的介绍。vscode打开torch源码后搜PyTypeObject可以看到有哪些类型被注册到python中了。
THPP和ATen还没看。看ATen还需要点自动微分方面的知识，虽然之前关注过这个问题。
2017 1201 0135
ATen应该从 code_template.py 那个文件开始看，然后用vscode在ATen文件夹下搜 .substitute
醉了，写pytorch的小组怎么这么爱用类似宏替换的东西。
在C层面搞了宏替换，还要用python再玩一次！
为了不用C++写底层，真是独树一帜！
2017年12月18日21:22:36
