2022-06-信息论-吴军

前情提要

时光浅浅，需要甜甜的回忆；

小记：不同的老师讲课是不一样的，所以接触不同的人是极为有趣的，最近发现一个很好玩的事情看电影，哈哈哈，周五晚上去看电影，主要英文的，既可以学习英语，也可以看一些经典的影片就挺好玩的；

课程概要

2022-06-01 杭州 周三 阵雨

信息论09讲 | 冗余度 《史记》 和 《圣经》那个信息量大？

课后感悟01： 语言冗余的好处是便于理解，另外语言的冗余可以消除歧义性，使得描述更加精准，语言的冗余可以带来信息的容错性；

课后感悟02： 信息冗余带来的问题，存储和传递信息带来的浪费，过多的信息将会带来错误（因为信息噪音）；

课堂小结：

2022-06-05 杭州 周日 雨

小记：杭州钱塘，标准的南方，雨一直下，梅雨季快来了，我喜欢的那个什么时候来呢？

信息论10讲 | 等价性 信息是如何压缩的？:https://youtu.be/zTjEmBxN7ZQ

课程总结： 或许我们无法直接获取到最直观的信息量，但是我们可以根据信息的等价性借以等价的变量确认预期的信息，比如宇宙观测，生物检测都是同样的道理的；

信息论11讲 | 信息增量 信息压缩中的保守主义：https://youtu.be/3uJZ-jV1W6I

课后感悟： 视频压缩因为存在相关性，所以只需要确认主帧，后续的画面以主帧为坐标进行偏移量就可以实现视频的有效压缩，谷歌的搜索也是利用了同样的方式，全文搜索时，文章首个单词进行编码，后续的单词分割采用偏移量进行编码，通过偏移组合的方式进行组合词的搜索查询，信息编码中因为相关性的存在，所以可以通过这种方式进行修修补补的增量编码，当然信息的编码自然会带来的问题就是信息失真，不过保守主义不代表顽固和传统而是最小代价的信息实现，不要做一个愤青愤世嫉俗，本就是俗人又何必怨天尤人；

2022-06-06 杭州 周一 晴

信息论12讲 压缩比与失真率 | 如何在取舍之间做平衡？ https://youtu.be/WNguAT4gAyA

如何在信息取舍做权衡?

课堂小结：

课堂总结： 因为香农第一定律，所以如果想做到信息编码，编码量一定大于信息熵，所以在有限的信息基础上，无损压缩只是优化编码信息，无法做到大规模的信息压缩，对于有损压缩的应用场景一定存在失真率，所以在信息压缩的取舍上要结合实际的应用场景进行设计以求平衡；

2022-06-18 杭州 周六 晴

信息论13讲： 信息正交性|在信息很多的情况下如何决策： https://youtu.be/3F48_B2cj4A

课后小结：

课后感悟： 信息不像作用力那样可以进行叠加作用的，相同的信息源不会产生多重作用，所以社会目前倡导的所谓大数据处理信息其实就是是通过不同侧面的信息源从而得到一个较为准确描述的全貌，因为巨大的信息洪流下如何有效的识别关键信息才是制胜的王道，不要让自己在信息的巨大洪流中迷失，把握关键的信息并有效的利用多角度信息从而全面的看问题；

信息论14讲 互信息 | 相关不是因果，那相关是什么? https://youtu.be/m-9hcgfLYws

课后感悟01：生活中很多人总是本末倒置的议论和看待一些问题，事情或多或少会有些相关性，但是往往有些人总是把因果弱相关性做为论据，比如老人去世和乌鸦的到来，比尔盖茨和扎克伯格退学创业，美股涨跌和女人裙摆的长短；因为通过结果推断原因这件事，即便存在相关性，也无法明确产生的结果是因为弱相关性的原因必然造成的，所以正是因为这种偏见性误差导致了很多荒谬的言论谣言；

课后感悟02：
a 美股涨跌和女人的裙摆的长短是因为，大多数男人这一辈子只是追求两件事，金权和女人，但是也有一句实话，所有的男人都只是爱别人的女人风骚；
b 富豪之所以退学是因为在退学前他们已经取得了明确的成功，平常人之所以追求学历人脉就是因为他们还没有成功；
c 老人去世前身体会散发一种特殊的腐臭味，所以会引来嗅觉灵敏的乌鸦，原因是因为人死前的生物机体行为，诱发了生物活动，并非乌鸦是神灵的召唤，所以才预示了上天的意图；