算法分析 - 基础
算法分析主要研究两个内容：时间复杂度 和 空间复杂度。
时间复杂度分析
一般来说，最关注的是时间复杂度。（或称时间上的增长数量级）
-
时间复杂度的渐进表示
-
渐近上界：
T(N)=O(f(N))表示 T(N) 的阶数小于或等于 f(N) 的阶数，这种记法称为大 O 标记法。（该算法不会比 f(N) 还坏）
写成极限形式就是：
，M为某一正常数 -
渐近下界：
T(N)=Ω(g(N))表示 T(N) 的阶数大于或等于 g(N) 的阶数。（下界，该算法不可能比 g(N) 更好） -
渐近精确界：
T(N)=Θ(h(N))表示 T(N) 与 h(N) 的同阶。
极限形式：
, C为某一非0常数 -
非渐近紧确上界：
T(N)=o(p(N))表示 T(N) 的阶数小于 p(N) 的阶数，称为小 o 标记法，他不同于大 O，因为大 O 包含增长率相同的情况。
T(N)=O(p(N))且T(N)≠Θ(p(N))则T(n)=o(p(N)). -
T(N) ~ q(N), 表示
，这比 Θ 更精确。（算法 4th 中主要就用这个）
-
-
时间复杂度的理论分析的一般过程
- 确定输入模型，定义问题的规模。（自变量M、N）
- 识别内循环
- 根据内循环中的操作定义成本模型。（访问数组的次数、修改数组内容等）
- 对于给定的输入，判断成本：即内循环操作执行的频率。这里可能需要做数学分析。（最常用的是累加操作和级数）
- 做倍率实验来验证结果。
-
注意事项
上述一般过程，在某些情况下可能会不适用- 大常数：一般的算法分析都会忽略其中的常数。但是如果常数接近问题的规模N时，这种近似就是错误的。
- 内循环是决定性因素的假设并不总是正确的。
- 对输入的强烈依赖：上述过程成立的前提之一是——运行时间和输入相对无关。若这个条件无法满足，可能会出现非预期的结果。
- 其他
空间损耗分析
对空间损耗的分析相对而言就简单很多，主要原因是它只涉及到会分配内存的语句。
不过话虽如此，对一个自带GC的、使用了各种 内存/性能 优化技术的代码，内存的使用可能会是一个复杂的动态过程，导致分析困难。
画外：各语言对空间损耗的态度
在 C/C++ 里可能会很在意空间，甚至为了节省内存，使出各种奇技淫巧。
但是在 Java 中，内存损耗向其他方面作出了妥协：
- 删除了无符号整数，规避了由它带来的坑。
- 数组自带长度信息，索引越界变得很容易检测。
- 真正的数组（等同于 C 的数组）存放在堆中，然后用一个 Java数组对象包装它，这个对象包含 16 bytes 的对象开销、4 bytes 保存长度信息和 4 bytes 的填充字节。（一般内存的使用会以 8 bytes (对 64 位机) 为基本单位，缺的地方就填充）
- 自动内存管理GC，解放了程序员，提高了代码健壮性。代价是响应速度降低，（GC 可能会导致卡顿）内存和CPU使用提高。
而 Python3，就更进一步，连内存溢出也避免了，实现了“无限精度”运算。。算是用速度和内存为代价，提升了代码的表达能力、可读性，降低了学习难度，也规避了很多坑。
要再说到函数式语言如 Elixir，它们内部的所有量都是 Immutable，也就是不可变的类型。对它们的任何操作都会产生一个“副本”。（这和 C 语言感觉就像两个极端）在牺牲了内存的同时，在并发编程上得到了其他语言无法比拟的优势。
数据结构方面也有这样的例子，如 Hash Table，在提供更多内存的前提下，实现了几乎为常数的对象访问。
总结一下就是，越往底层的东西，就越在意节省内存。而在上层，内存往往会让步给代码可读性、健壮性、并发性、访问速度等等。
而在大数据时代下，并发性、访问速度、健壮性、灾容设计等变得越来越重要。仅为了灾容，一份数据就往往会在不同的地方有好几个副本。甚至已经出现了完全运行在内存条里的高速数据库。
空间一直在给这些指标不断让步。不过得益于内存价格的不断降低，这个让步大概还能持续很久。
