cpu缓存（cache memory）是位于cpu与内存之间的临时存储器，它的容量比内存小但交换速度快。在缓存中的数据是内存中的一小部分，但这一小部分是短时间内cpu即将访问的，当cpu调用大量数据时，就可避开内存直接从缓存中调用，从而加快读取速度。由此可见，在cpu中加入缓存是一种高效的解决方案，这样整个内存储器（缓存+内存）就变成了既有缓存的高速度，又有内存的大容量的存储系统了。缓存对cpu的性能影响很大，主要是因为cpu的数据交换顺序和cpu与缓存间的带宽引起的。
缓存的工作原理是当cpu要读取一个数据时，首先从缓存中查找，如果找到就立即读取并送给cpu处理；如果没有找到，就用相对慢的速度从内存中读取并送给cpu处理，同时把这个数据所在的数据块调入缓存中，可以使得以后对整块数据的读取都从缓存中进行，不必再调用内存。
正是这样的读取机制使cpu读取缓存的命中率非常高（大多数cpu可达90%左右），也就是说cpu下一次要读取的数据90%都在缓存中，只有大约10%需要从内存读取。这大大节省了cpu直接读取内存的时间，也使cpu读取数据时基本无需等待。总的来说，cpu读取数据的顺序是先缓存后内存。
最早先的cpu缓存是个整体的，而且容量很低，英特尔公司从pentium时代开始把缓存进行了分类。当时集成在cpu内核中的缓存已不足以满足cpu的需求，而制造工艺上的限制又不能大幅度提高缓存的容量。因此出现了集成在与cpu同一块电路板上或主板上的缓存，此时就把 cpu内核集成的缓存称为一级缓存，而外部的称为二级缓存。一级缓存中还分数据缓存（data cache，d-cache）和指令缓存（instruction cache，i-cache）。二者分别用来存放数据和执行这些数据的指令，而且两者可以同时被cpu访问，减少了争用cache所造成的冲突，提高了处理器效能。英特尔公司在推出pentium 4处理器时，用新增的一种一级追踪缓存替代指令缓存，容量为12kμops，表示能存储12k条微指令。
随着cpu制造工艺的发展，二级缓存也能轻易的集成在cpu内核中，容量也在逐年提升。现在再用集成在cpu内部与否来定义一、二级缓存，已不确切。而且随着二级缓存被集成入cpu内核中，以往二级缓存与cpu大差距分频的情况也被改变，此时其以相同于主频的速度工作，可以为cpu提供更高的传输速度。
二级缓存是cpu性能表现的关键之一，在cpu核心不变化的情况下，增加二级缓存容量能使性能大幅度提高。而同一核心的cpu高低端之分往往也是在二级缓存上有差异，由此可见二级缓存对于cpu的重要性。
cpu在缓存中找到有用的数据被称为命中，当缓存中没有cpu所需的数据时（这时称为未命中），cpu才访问内存。从理论上讲，在一颗拥有二级缓存的cpu中，读取一级缓存的命中率为80%。也就是说cpu一级缓存中找到的有用数据占数据总量的80%，剩下的20%从二级缓存中读取。由于不能准确预测将要执行的数据，读取二级缓存的命中率也在80%左右（从二级缓存读到有用的数据占总数据的16%）。那么还有的数据就不得不从内存调用，但这已经是一个相当小的比例了。目前的较高端的cpu中，还会带有三级缓存，它是为读取二级缓存后未命中的数据设计的―种缓存，在拥有三级缓存的cpu中，只有约5%的数据需要从内存中调用，这进一步提高了cpu的效率。
为了保证cpu访问时有较高的命中率，缓存中的内容应该按一定的算法替换。一种较常用的算法是“最近最少使用算法”（lru算法），它是将最近一段时间内最少被访问过的行淘汰出局。因此需要为每行设置一个计数器，lru算法是把命中行的计数器清零，其他各行计数器加1。当需要替换时淘汰行计数器计数值最大的数据行出局。这是一种高效、科学的算法，其计数器清零过程可以把一些频繁调用后再不需要的数据淘汰出缓存，提高缓存的利用率。
cpu产品中，一级缓存的容量基本在4kb到64kb之间，二级缓存的容量则分为128kb、256kb、512kb、1mb、2mb等。一级缓存容量各产品之间相差不大，而二级缓存容量则是提高cpu性能的关键。二级缓存容量的提升是由cpu制造工艺所决定的，容量增大必然导致cpu内部晶体管数的增加，要在有限的cpu面积上集成更大的缓存，对制造工艺的要求也就越高。
双核心cpu的二级缓存比较特殊，和以前的单核心cpu相比，最重要的就是两个内核的缓存所保存的数据要保持一致，否则就会出现错误，为了解决这个问题不同的cpu使用了不同的办法：
intel双核心处理器的二级缓存
目前intel的双核心cpu主要有pentium d、pentium ee、core duo三种，其中pentium d、pentium ee的二级缓存方式完全相同。pentium d和pentium ee的二级缓存都是cpu内部两个内核具有互相独立的二级缓存，其中，8xx系列的smithfield核心cpu为每核心1mb，而9xx系列的presler核心cpu为每核心2mb。这种cpu内部的两个内核之间的缓存数据同步是依靠位于主板北桥芯片上的仲裁单元通过前端总线在两个核心之间传输来实现的，所以其数据延迟问题比较严重，性能并不尽如人意。
core duo使用的核心为yonah，它的二级缓存则是两个核心共享2mb的二级缓存，共享式的二级缓存配合intel的“smart cache”共享缓存技术，实现了真正意义上的缓存数据同步，大幅度降低了数据延迟，减少了对前端总线的占用，性能表现不错，是目前双核心处理器上最先进的二级缓存架构。今后intel的双核心处理器的二级缓存都会采用这种两个内核共享二级缓存的“smart cache”共享缓存技术。
amd双核心处理器的二级缓存
athlon 64 x2 cpu的核心主要有manchester和toledo两种，他们的二级缓存都是cpu内部两个内核具有互相独立的二级缓存，其中，manchester核心为每核心512kb，而toledo核心为每核心1mb。处理器内部的两个内核之间的缓存数据同步是依靠cpu内置的system request interface(系统请求接口，sri)控制，传输在cpu内部即可实现。这样一来，不但cpu资源占用很小，而且不必占用内存总线资源，数据延迟也比intel的smithfield核心和presler核心大为减少，协作效率明显胜过这两种核心。不过，由于这种方式仍然是两个内核的缓存相互独立，从架构上来看也明显不如以yonah核心为代表的intel的共享缓存技术smart cache。
