SSE图像算法优化系列二十一：基于DCT变换图像去噪算法的进一步优化（100W像素30ms）。
在优化IPOL网站中基于DCT（离散余弦变换）的图像去噪算法（附源代码） 一文中，我们曾经优化过基于DCT变换的图像去噪算法，在那文所提供的Demo中，处理一副1000*1000左右的灰度噪音图像耗时约450ms，如果采用所谓的快速模式耗时约150ms，说实在的，这个速度确实还是有点慢，后续曾尝试用AVX优化，但是感觉AVX真的没有SSE用的方便，而且AVX里还有不少陷阱，本以为这个算法优化没有什么希望了，但前几日网友推荐了一片论文《Randomized Redundant DCT Efficent Denoising by Using Random Subsampling of DCT Patches》里提供了比较诱人的数据，于是我又对这个算法有了新的兴趣，那我们来看看这篇论文有何特点。
先来看看论文提供的图片和数据：
其中R-DCT即《DCT Image Denoising a Simple and Eective Image Denoising Algorithm》一文的经典算法，而RR-DCT则是论文提供的速度，23ms对768*512的彩色像来说应该说是比较快的了。纵观全文的内容，其提出的加速的方式其实类似于我在博文中提出的取样，另外他提出了使用多线程的方式来加速。
但是，其取样的方式并不是我在博文中提出的规则的隔行隔列的方式，而是一种更为随机但也不会太随机的方式，称为Poisson-disk sampling (PDS) 取样，这种取样他可以指定每个取样点最远距离，而又不是完全均匀分布，这既能保证每个像素都能被取样到，又保证每个像素不会被取样过多。当然，能这样做的主要原因还是基于DCT算法的去噪，比如8*8的块，里面存在较多的数据冗余。
在这篇论文提供了相关代码，日本人写的，我觉代码写的我想吐，很难受，我现在还在吐，但是这个代码也不是完全一无是处，其中关于DCT的优化无意中给我继续优化这个算法带来了极大的希望。
好，那我接着说我的优化思路，在之前的博文中，我们在8x8的DCT优化中留下了一个疑问，如何得到SSE变量里的四个浮点数的累加值，即如下代码：
const float *Data = (const float *)∑
Sum = _mm_mul_ps(A, _mm_load_ps(DCTbasis)); Sum = _mm_add_ps(Sum, _mm_mul_ps(B, _mm_load_ps(DCTbasis + 4))); Out[0] = Data[0] + Data[1] + Data[2] + Data[3]; // 这里是否还有更好的方式实现呢?
上述代码使用了SSE指令和FPU指令共用，不是不行，而是确实效率不是很好，以前做这个算法时对SIMD指令集的了解还不是很深刻，因此，现在看来这里有很好的解决方案，为表述方便，我们把原始的8x8的DCT变换C代码贴出如下：
// 普通C语言版本的8x1的一维DCT变换 __forceinline void IM_DCT1D_8x1_C(float *In, float *Out) { for (int Y = 0, Index = 0; Y < 8; Y++) { float Sum = 0; for (int X = 0; X < 8; X++) { Sum += In[X] * DCTbasis[Index++]; } Out[Y] = Sum; } }
其中的DCTbasis是预先定义好的64个元素的浮点数组。
Out的每个元素等于8个浮点数的和，但是是水平方向元素的和，我们知道SSE里有个指令叫_mm_hadd_ps，他就是执行的水平方向元素相加，他执行的类似下图的操作：
我们的Sum是8个浮点的相加，8个浮点2个SSE变量可保存下，执行四次水平加法就可以得到结果，同时我们在考虑到结合后续的几行数据，于是就有下面的优化代码：
__forceinline void IM_DCT1D_8x1_SSE(float *In, float *Out) { __m128 In1 = _mm_loadu_ps(In); __m128 In2 = _mm_loadu_ps(In + 4); __m128 Sum0_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 0)); __m128 Sum0_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 4)); __m128 Sum1_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 8)); __m128 Sum1_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 12)); __m128 Sum2_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 16)); __m128 Sum2_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 20)); __m128 Sum3_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 24)); __m128 Sum3_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 28)); __m128 Sum01 = _mm_hadd_ps(_mm_hadd_ps(Sum0_0, Sum0_1), _mm_hadd_ps(Sum1_0, Sum1_1)); // 使用_mm_hadd_ps提高速度 __m128 Sum23 = _mm_hadd_ps(_mm_hadd_ps(Sum2_0, Sum2_1), _mm_hadd_ps(Sum3_0, Sum3_1)); _mm_storeu_ps(Out + 0, _mm_hadd_ps(Sum01, Sum23)); __m128 Sum4_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 32)); __m128 Sum4_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 36)); __m128 Sum5_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 40)); __m128 Sum5_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 44)); __m128 Sum6_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 48)); __m128 Sum6_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 52)); __m128 Sum7_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 56)); __m128 Sum7_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 60)); __m128 Sum45 = _mm_hadd_ps(_mm_hadd_ps(Sum4_0, Sum4_1), _mm_hadd_ps(Sum5_0, Sum5_1)); __m128 Sum67 = _mm_hadd_ps(_mm_hadd_ps(Sum6_0, Sum6_1), _mm_hadd_ps(Sum7_0, Sum7_1)); _mm_storeu_ps(Out + 4, _mm_hadd_ps(Sum45, Sum67)); }
对于DCT逆变换，也做类似的处理，100万速度一下子就能提升到350ms，快速版本约为120ms，也是一个长足的进度。
在DCT变换完成后，为了进行去噪，需要一个阈值的处理，过程，普通的C语言类似下述过程：
for (int YY = 0; YY < 64; YY++) if (abs(DctOut[YY] )< Threshold) DctOut[YY] = 0; // 阈值处理
这也完全可以转换成SSE处理：
// DCT阈值处理 __forceinline void IM_DctThreshold8x8(float *DctOut, float Threshold) { __m128 Th = _mm_set_ps1(Threshold); __m128 DctOut0 = _mm_load_ps(DctOut + 0); __m128 DctOut1 = _mm_load_ps(DctOut + 4); _mm_store_ps(DctOut + 0, _mm_blend_ps(_mm_and_ps(DctOut0, _mm_cmpgt_ps(_mm_abs_ps(DctOut0), Th)), DctOut0, 1)); // // keep 00 coef. _mm_store_ps(DctOut + 4, _mm_and_ps(DctOut1, _mm_cmpgt_ps(_mm_abs_ps(DctOut1), Th))); __m128 DctOut2 = _mm_load_ps(DctOut + 8); __m128 DctOut3 = _mm_load_ps(DctOut + 12); _mm_store_ps(DctOut + 8, _mm_and_ps(DctOut2, _mm_cmpgt_ps(_mm_abs_ps(DctOut2), Th))); _mm_store_ps(DctOut + 12, _mm_and_ps(DctOut3, _mm_cmpgt_ps(_mm_abs_ps(DctOut3), Th))); __m128 DctOut4 = _mm_load_ps(DctOut + 16); __m128 DctOut5 = _mm_load_ps(DctOut + 20); _mm_store_ps(DctOut + 16, _mm_and_ps(DctOut4, _mm_cmpgt_ps(_mm_abs_ps(DctOut4), Th))); _mm_store_ps(DctOut + 20, _mm_and_ps(DctOut5, _mm_cmpgt_ps(_mm_abs_ps(DctOut5), Th))); __m128 DctOut6 = _mm_load_ps(DctOut + 24); __m128 DctOut7 = _mm_load_ps(DctOut + 28); _mm_store_ps(DctOut + 24, _mm_and_ps(DctOut6, _mm_cmpgt_ps(_mm_abs_ps(DctOut6), Th))); _mm_store_ps(DctOut + 28, _mm_and_ps(DctOut7, _mm_cmpgt_ps(_mm_abs_ps(DctOut7), Th))); __m128 DctOut8 = _mm_load_ps(DctOut + 32); __m128 DctOut9 = _mm_load_ps(DctOut + 36); _mm_store_ps(DctOut + 32, _mm_and_ps(DctOut8, _mm_cmpgt_ps(_mm_abs_ps(DctOut8), Th))); _mm_store_ps(DctOut + 36, _mm_and_ps(DctOut9, _mm_cmpgt_ps(_mm_abs_ps(DctOut9), Th))); __m128 DctOut10 = _mm_load_ps(DctOut + 40); __m128 DctOut11 = _mm_load_ps(DctOut + 44); _mm_store_ps(DctOut + 40, _mm_and_ps(DctOut10, _mm_cmpgt_ps(_mm_abs_ps(DctOut10), Th))); _mm_store_ps(DctOut + 44, _mm_and_ps(DctOut11, _mm_cmpgt_ps(_mm_abs_ps(DctOut11), Th))); __m128 DctOut12 = _mm_load_ps(DctOut + 48); __m128 DctOut13 = _mm_load_ps(DctOut + 52); _mm_store_ps(DctOut + 48, _mm_and_ps(DctOut12, _mm_cmpgt_ps(_mm_abs_ps(DctOut12), Th))); _mm_store_ps(DctOut + 52, _mm_and_ps(DctOut13, _mm_cmpgt_ps(_mm_abs_ps(DctOut13), Th))); __m128 DctOut14 = _mm_load_ps(DctOut + 56); __m128 DctOut15 = _mm_load_ps(DctOut + 60); _mm_store_ps(DctOut + 56, _mm_and_ps(DctOut14, _mm_cmpgt_ps(_mm_abs_ps(DctOut14), Th))); _mm_store_ps(DctOut + 60, _mm_and_ps(DctOut15, _mm_cmpgt_ps(_mm_abs_ps(DctOut15), Th))); }
充分利用了_mm_cmpgt_ps比较函数的返回值和_mm_and_ps的位运算功能。
后续的权重累积以及DCT值的累加也一样可以用SSE优化，也是很简单的事情。
最后的DCT累计值和权重相除即可得到最终的结果值，即如下代码：
for (int Y = 0, Index = 0; Y < Height; Y++) { unsigned char *LinePD = Dest + Y * Stride; for (int X = 0; X < Width; X++) { LinePD[X] = ClampToByte(Sum[Index] / Weight[Index]); Index++; } }
也是非常容易能产生高效的并行化的代码的。
// 完整的累加值和权重相除 __forceinline void IM_SumDivWeight2uchar8x8(float *Sum, float *Weight, unsigned char *Dest, int Width, int Height, int Stride) { int BlockSize = 8, Block = Width / BlockSize; for (int Y = 0, Index = 0; Y < Height; Y++) { unsigned char *LinePD = Dest + Y * Stride; for (int X = 0; X < Block * BlockSize; X += BlockSize, Index += BlockSize) { __m128 Div1 = _mm_div_ps(_mm_loadu_ps(Sum + Index + 0), _mm_loadu_ps(Weight + Index + 0)); // 即使Sum或Weight是16字节对齐的，但如果Width是奇数，由于最后几个像素的作用，使得并不是每次加载数据时都是16字节对齐的内存，所以只能用loadu而不能用load __m128 Div2 = _mm_div_ps(_mm_loadu_ps(Sum + Index + 4), _mm_loadu_ps(Weight + Index + 4)); __m128i Result = _mm_packus_epi32(_mm_cvttps_epi32(Div1), _mm_cvttps_epi32(Div2)); Result = _mm_packus_epi16(Result, Result); _mm_storel_epi64((__m128i *)(LinePD + X), Result); } for (int X = Block * BlockSize; X < Width; X++, Index++) { LinePD[X] = IM_ClampToByte((int)(Sum[Index] / Weight[Index] + 0.4999999f)); } } }
使用_mm_packus_epi16等饱和运算的相关指令能有效的避免跳转，从而适当的加快速度。
那么另外一点，在之前博文中提到了需要进行DCT变换原始数据的获取，是通过类似滑块的方式处理的，其实我们感觉不是需要，我们可以借助SSE直接将8个字节数组转换为浮点，然后保存。
// 将8个字节数据转换位浮点数 __forceinline void IM_Convert8ucharTo8float(unsigned char *Src, float *Dest) { __m128i SrcV = _mm_loadl_epi64((__m128i *)Src); _mm_storeu_ps(Dest + 0, _mm_cvtepi32_ps(_mm_shuffle_epi8(SrcV, _mm_setr_epi8(0, -1, -1, -1, 1, -1, -1, -1, 2, -1, -1, -1, 3, -1, -1, -1)))); _mm_storeu_ps(Dest + 4, _mm_cvtepi32_ps(_mm_shuffle_epi8(SrcV, _mm_setr_epi8(4, -1, -1, -1, 5, -1, -1, -1, 6, -1, -1, -1, 7, -1, -1, -1)))); }
更进一步，我们可以把他和DCT1D的代码结合起来，直接实现由字节数据计算出对应的DCT1D结果，这样减少中间的一次保存一次加载时间，如下所示：
// 直接由字节数据执行一维8X8的DCT变换 __forceinline void IM_DCT1D_8x1_SSE(unsigned char *In, float *Out) { __m128i SrcV = _mm_loadl_epi64((__m128i *)In); __m128 In1 = _mm_cvtepi32_ps(_mm_shuffle_epi8(SrcV, _mm_setr_epi8(0, -1, -1, -1, 1, -1, -1, -1, 2, -1, -1, -1, 3, -1, -1, -1))); __m128 In2 = _mm_cvtepi32_ps(_mm_shuffle_epi8(SrcV, _mm_setr_epi8(4, -1, -1, -1, 5, -1, -1, -1, 6, -1, -1, -1, 7, -1, -1, -1))); __m128 Sum0_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 0)); __m128 Sum0_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 4)); __m128 Sum1_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 8)); __m128 Sum1_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 12)); __m128 Sum2_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 16)); __m128 Sum2_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 20)); __m128 Sum3_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 24)); __m128 Sum3_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 28)); __m128 Sum01 = _mm_hadd_ps(_mm_hadd_ps(Sum0_0, Sum0_1), _mm_hadd_ps(Sum1_0, Sum1_1)); __m128 Sum23 = _mm_hadd_ps(_mm_hadd_ps(Sum2_0, Sum2_1), _mm_hadd_ps(Sum3_0, Sum3_1)); _mm_storeu_ps(Out + 0, _mm_hadd_ps(Sum01, Sum23)); __m128 Sum4_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 32)); __m128 Sum4_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 36)); __m128 Sum5_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 40)); __m128 Sum5_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 44)); __m128 Sum6_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 48)); __m128 Sum6_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 52)); __m128 Sum7_0 = _mm_mul_ps(In1, _mm_load_ps(DCTbasis + 56)); __m128 Sum7_1 = _mm_mul_ps(In2, _mm_load_ps(DCTbasis + 60)); __m128 Sum45 = _mm_hadd_ps(_mm_hadd_ps(Sum4_0, Sum4_1), _mm_hadd_ps(Sum5_0, Sum5_1)); __m128 Sum67 = _mm_hadd_ps(_mm_hadd_ps(Sum6_0, Sum6_1), _mm_hadd_ps(Sum7_0, Sum7_1)); _mm_storeu_ps(Out + 4, _mm_hadd_ps(Sum45, Sum67)); }
结合在上一篇博文中我们谈到的充分利用两次DCT2D变换中第一次DCT1D有7行结果是重复的现象，我们新的一个版本的优化代码出炉：
int IM_DCT_Denoising_02(unsigned char *Src, unsigned char *Dest, int Width, int Height, int Stride, float Sigma, bool FastMode) { int Channel = Stride / Width; if ((Src == NULL) || (Dest == NULL)) return IM_STATUS_NULLREFRENCE; if ((Width <= 7) || (Height <= 7) || (Sigma <= 0)) return IM_STATUS_INVALIDPARAMETER; if ((Channel != 1) && (Channel != 3)) return IM_STATUS_NOTSUPPORTED; int Status = IM_STATUS_OK; if (Channel == 3) { //// } else { int Step = (FastMode == true ? 2 : 1); float Threshold = 3 * Sigma; float *Dct1D = (float *)_mm_malloc(8 * Height * sizeof(float), 32); float *DctOut = (float *)_mm_malloc(64 * sizeof(float), 32); float *Sum = (float *)_mm_malloc(Width * Height * sizeof(float), 32); float *Weight = (float *)_mm_malloc(Width * Height * sizeof(float), 32); if ((Dct1D == NULL) || (DctOut == NULL) || (Sum == NULL) || (Weight == NULL)) { Status = IM_STATUS_OUTOFMEMORY; goto FreeMemory; } memset(Sum, 0, Width * Height * sizeof(float)); for (int X = 0; X < Width - 7; X += Step) { for (int Y = 0; Y < Height; Y++) { IM_DCT1D_8x1_SSE(Src + Y * Stride + X, Dct1D + Y * 8); } for (int Y = 0; Y < Height - 7; Y += Step) { IM_DCT2D_8x8_With1DRowDCT_SSE(Dct1D + Y * 8, DctOut); // DCT变换 IM_DctThreshold8x8(DctOut, Threshold); // 阈值处理 IM_IDCT2D_8x8_SSE(DctOut, DctOut); // 在反变换回来 IM_UpdateSumAndWeight8x8(Sum + Y * Width + X, Weight + Y * Width + X, DctOut, Width); // 更新权重和阈值 } } IM_SumDivWeight2uchar8x8(Sum, Weight, Dest, Width, Height, Stride); FreeMemory: if (Dct1D != NULL) _mm_free(Dct1D); if (DctOut != NULL) _mm_free(DctOut); if (Sum != NULL) _mm_free(Sum); if (Weight != NULL) _mm_free(Weight); return Status; } }
这样速度也不会比之前的慢，测试100W像素大约320ms，快速模式90ms，而且占用内存相比之前更小。
进一步考虑，其实在整个过程中Weight的值是可以预测，也就是说不同位置的Weight值其实是固定的，我们没有必要去计算，在图像中心，这个值一定等于64，如果是快速模式，则等于16，唯一需要注意处理的是边缘部分的像素，他们的权重是变化的。
这样处理的好处是即减少了Weight的权重部分占用的内存，也减少了计算量，而且部分计算可以用乘法代替除法，速度也会有显著提升。
如此改进后测试100W像素大约270ms，快速模式78ms，内存占用更小。
到此为止，似乎已经没有什么能够进一步获取速度的提升了，我也差点绝望了，因为最为耗时的DCT部分的进一步提升从C的实现上看，对应的SSE语句似乎已经到了极致。
翻阅《Randomized Redundant DCT Efficent Denoising by Using Random Subsampling of DCT Patches》一文的官方网站，下载了其对应的代码，在代码里找到了dct_simd.cpp模块，里面的代码也非常之乱，但观察其有16x16,8x8,4x4的DCT的多种实现，会不会比IPOL里这种直接乘的更快呢，找到了我关心的8x8的DCT部分代码，发现了其C算法的1D实现：
static void fdct81d_GT(const float *src, float *dst) { for (int i = 0; i < 2; i++) { const float mx00 = src[0] + src[7]; const float mx01 = src[1] + src[6]; const float mx02 = src[2] + src[5]; const float mx03 = src[3] + src[4]; const float mx04 = src[0] - src[7]; const float mx05 = src[1] - src[6]; const float mx06 = src[2] - src[5]; const float mx07 = src[3] - src[4]; const float mx08 = mx00 + mx03; const float mx09 = mx01 + mx02; const float mx0a = mx00 - mx03; const float mx0b = mx01 - mx02; const float mx0c = 1.38703984532215f*mx04 + 0.275899379282943f*mx07; const float mx0d = 1.17587560241936f*mx05 + 0.785694958387102f*mx06; const float mx0e = -0.785694958387102f*mx05 + 1.17587560241936f*mx06; const float mx0f = 0.275899379282943f*mx04 - 1.38703984532215f*mx07; const float mx10 = 0.353553390593274f * (mx0c - mx0d); const float mx11 = 0.353553390593274f * (mx0e - mx0f); dst[0] = 0.353553390593274f * (mx08 + mx09); dst[1] = 0.353553390593274f * (mx0c + mx0d); dst[2] = 0.461939766255643f*mx0a + 0.191341716182545f*mx0b; dst[3] = 0.707106781186547f * (mx10 - mx11); dst[4] = 0.353553390593274f * (mx08 - mx09); dst[5] = 0.707106781186547f * (mx10 + mx11); dst[6] = 0.191341716182545f*mx0a - 0.461939766255643f*mx0b; dst[7] = 0.353553390593274f * (mx0e + mx0f); dst += 4; src += 4; } }
我靠，怎么这么复杂，比IPOL的复杂多了，代码也多了很多，这不可能比IPOL快，但仔细的数一数，这个算法只用了24个加减法及20次乘法，而IPOL里的则使用了56次加法及64次乘法，相比之下IPOL的计算量明显更大。
上述代码其实有错误，很明显，如果执行这个for循环，则指针明显超过了边界，所以实际是没有这个for的，这里有，主要是后面的SSE优化确实需要这个for循环，作者没有删除他而已。
这样一个算法说实在的不是很适合使用SSE指令的，不是说做不到，也可以做到，用shuffle指令分别把单个数据分配到XMM寄存器中，然后执行操作，只是这样做可能适得其反，反而速度更慢。
但是我们知道这样的算法，每一行之间的数据是互不干涉的，如果我们考虑8行数据一起算，然后先把他们转置，这样就可以充分利用SSE的特性了，并且这个时候基本上就是把上述的C里面的运算符换成对等的SIMD运算符，如下所示：
// 8*8转置浮点数据的一维DCT变换，即对每行分别执行一维的DCT变换。 __forceinline void IM_DCT1D_8x8_T_GT_SSE(float *In, float *Out) { __m128 c0353 = _mm_set1_ps(0.353553390593274f); __m128 c0707 = _mm_set1_ps(0.707106781186547f); for (int Index = 0; Index < 2; Index++) { __m128 ms0 = _mm_load_ps(In); __m128 ms1 = _mm_load_ps(In + 8); __m128 ms2 = _mm_load_ps(In + 16); __m128 ms3 = _mm_load_ps(In + 24); __m128 ms4 = _mm_load_ps(In + 32); __m128 ms5 = _mm_load_ps(In + 40); __m128 ms6 = _mm_load_ps(In + 48); __m128 ms7 = _mm_load_ps(In + 56); __m128 mx00 = _mm_add_ps(ms0, ms7); __m128 mx01 = _mm_add_ps(ms1, ms6); __m128 mx02 = _mm_add_ps(ms2, ms5); __m128 mx03 = _mm_add_ps(ms3, ms4); __m128 mx04 = _mm_sub_ps(ms0, ms7); __m128 mx05 = _mm_sub_ps(ms1, ms6); __m128 mx06 = _mm_sub_ps(ms2, ms5); __m128 mx07 = _mm_sub_ps(ms3, ms4); __m128 mx08 = _mm_add_ps(mx00, mx03); __m128 mx09 = _mm_add_ps(mx01, mx02); __m128 mx0a = _mm_sub_ps(mx00, mx03); __m128 mx0b = _mm_sub_ps(mx01, mx02); __m128 mx0c = _mm_add_ps(_mm_mul_ps(_mm_set1_ps(1.38703984532215f), mx04), _mm_mul_ps(_mm_set1_ps(0.275899379282943f), mx07)); __m128 mx0d = _mm_add_ps(_mm_mul_ps(_mm_set1_ps(1.17587560241936f), mx05), _mm_mul_ps(_mm_set1_ps(+0.785694958387102f), mx06)); __m128 mx0e = _mm_add_ps(_mm_mul_ps(_mm_set1_ps(-0.785694958387102f), mx05), _mm_mul_ps(_mm_set1_ps(+1.17587560241936f), mx06)); __m128 mx0f = _mm_add_ps(_mm_mul_ps(_mm_set1_ps(0.275899379282943f), mx04), _mm_mul_ps(_mm_set1_ps(-1.38703984532215f), mx07)); __m128 mx10 = _mm_mul_ps(c0353, _mm_sub_ps(mx0c, mx0d)); __m128 mx11 = _mm_mul_ps(c0353, _mm_sub_ps(mx0e, mx0f)); _mm_store_ps(Out + 0, _mm_mul_ps(c0353, _mm_add_ps(mx08, mx09))); _mm_store_ps(Out + 8, _mm_mul_ps(c0353, _mm_add_ps(mx0c, mx0d))); _mm_store_ps(Out + 16, _mm_add_ps(_mm_mul_ps(_mm_set1_ps(0.461939766255643f), mx0a), _mm_mul_ps(_mm_set1_ps(0.191341716182545f), mx0b))); _mm_store_ps(Out + 24, _mm_mul_ps(c0707, _mm_sub_ps(mx10, mx11))); _mm_store_ps(Out + 32, _mm_mul_ps(c0353, _mm_sub_ps(mx08, mx09))); _mm_store_ps(Out + 40, _mm_mul_ps(c0707, _mm_add_ps(mx10, mx11))); _mm_store_ps(Out + 48, _mm_add_ps(_mm_mul_ps(_mm_set1_ps(0.191341716182545f), mx0a), _mm_mul_ps(_mm_set1_ps(-0.461939766255643f), mx0b))); _mm_store_ps(Out + 56, _mm_mul_ps(c0353, _mm_add_ps(mx0e, mx0f))); In += 4; Out += 4; } }
注意这里就有个for循环了，由于SSE一次性只能处理4个像素，一次需要2个才能处理一行。
注意，这里基本上就是纯C的语法直接翻译到SIMD指令，没有任何其他的技巧。
至于DCT的逆变换，也是一样的道理，可以参考相关代码。
注意上述计算是获得了转置后的1D计算结果，如果需要获得真正的8x1的DCT结果，必须还要进行一次转置，即：
__forceinline void IM_DCT1D_8x8_GT_SSE(float *In, float *Out) { __declspec(align(16)) float Temp1[8 * 8]; __declspec(align(16)) float Temp2[8 * 8]; IM_Transpose8x8(In, Temp1); IM_DCT1D_8x8_T_GT_SSE(Temp1, Temp2); IM_Transpose8x8(Temp2, Out); }
那么这样按照2D转置的写法，此算法的2D转置过程为：
__forceinline void IM_DCT2D_8x8_GT_SSE(float *In, float *Out) { __declspec(align(16)) float Temp1[8 * 8]; __declspec(align(16)) float Temp2[8 * 8]; IM_DCT1D_8x8_GT_SSE(In, Temp1); IM_Transpose8x8(Temp1, Temp2); IM_DCT1D_8x8_GT_SSE(Temp2, Temp1); IM_Transpose8x8(Temp1, Out); }
把其中的IM_DCT1D_8x8_GT_SSE展开后合并有关内存得到：
1 __forceinline void IM_DCT2D_8x8_GT_SSE(float *In, float *Out) 2 { 3 __declspec(align(16)) float Temp1[8 * 8]; 4 __declspec(align(16)) float Temp2[8 * 8]; 5 6 IM_Transpose8x8(In, Temp1); 7 IM_DCT1D_8x8_T_GT_SSE(Temp1, Temp2); 8 IM_Transpose8x8(Temp2, Temp1); 9 10 IM_Transpose8x8(Temp1, Temp2); 11 12 IM_Transpose8x8(Temp2, Temp1); 13 IM_DCT1D_8x8_T_GT_SSE(Temp1, Temp2); 14 IM_Transpose8x8(Temp2, Temp1); 15 16 IM_Transpose8x8(Temp1, Out); 17 }
我们看到第10和第12行，明显是个相互抵消的过程，完全可以山粗，第14行和第16也有是抵消的过程，因此，最终的2D的8x8 的DCT可以表达如下：
__forceinline void IM_DCT2D_8x8_GT_SSE(float *In, float *Out) { __declspec(align(16)) float Temp1[8 * 8]; __declspec(align(16)) float Temp2[8 * 8]; IM_Transpose8x8(In, Temp1); IM_DCT1D_8x8_T_GT_SSE(Temp1, Temp2); IM_Transpose8x8(Temp2, Temp1); IM_DCT1D_8x8_T_GT_SSE(Temp1, Out); }
同样的，我们可以考虑利用列方向相邻DCT的的重复信息，这样可以到的又一个版本的优化代码：
int IM_DCT_Denoising_8x8(unsigned char *Src, unsigned char *Dest, int Width, int Height, int Stride, float Sigma, bool FastMode) { int Channel = Stride / Width; if ((Src == NULL) || (Dest == NULL)) return IM_STATUS_NULLREFRENCE; if ((Width <= 7) || (Height <= 7) || (Sigma <= 0)) return IM_STATUS_INVALIDPARAMETER; if ((Channel != 1) && (Channel != 3)) return IM_STATUS_NOTSUPPORTED; int Status = IM_STATUS_OK; if (Channel == 3) { } else { int Step = (FastMode == true ? 2 : 1); float Threshold = 3 * Sigma; float *DctIn = (float *)_mm_malloc(8 * Height * sizeof(float), 32); float *DctOut = (float *)_mm_malloc(64 * sizeof(float), 32); float *Sum = (float *)_mm_malloc(Width * Height * sizeof(float), 32); if ((DctIn == NULL) || (DctOut == NULL) || (Sum == NULL)) { Status = IM_STATUS_OUTOFMEMORY; goto FreeMemory; } memset(Sum, 0, Width * Height * sizeof(float)); for (int X = 0; X < Width - 7; X += Step) { for (int Y = 0; Y < Height; Y++) { IM_Convert8ucharTo8float(Src + Y * Stride + X, DctIn + Y * 8); // 把一整列的字节数据转换为浮点数 } int BlockSize = 8, Block = Height / BlockSize; for (int Y = 0; Y < Block * BlockSize; Y += BlockSize) // 利用他快速计算 { IM_Transpose8x8(DctIn + Y * 8, DctOut); IM_DCT1D_8x8_T_GT_SSE(DctOut, DctOut); IM_Transpose8x8(DctOut, DctIn + Y * 8); } for (int Y = Block * BlockSize; Y < Height; Y++) { IM_DCT1D_8x1_GT_C(DctIn + Y * 8, DctIn + Y * 8); } for (int Y = 0; Y < Height - 7; Y += Step) { IM_DCT1D_8x8_T_GT_SSE(DctIn + Y * 8, DctOut); // DCT变换 IM_DctThreshold8x8(DctOut, Threshold); // 阈值处理 IM_IDCT2D_8x8_GT_SSE(DctOut, DctOut); // 在反变换回来 IM_UpdateSum8x8(Sum + Y * Width + X, DctOut, Width); // 更新权重和阈值 } } IM_SumDivWeight2uchar8x8(Sum, Dest, Width, Height, Stride, FastMode); FreeMemory: if (DctIn != NULL) _mm_free(DctIn); if (DctOut != NULL) _mm_free(DctOut); if (Sum != NULL) _mm_free(Sum); return Status; } }
果然不出所料，执行速度大为提升，100W图执行时间120ms，快速模式时间38ms左右。
看样子数学本身的优化比你用其他方式来搞确实更有效果啊，真心佩服这些数学高手。
那么接着看，在《Randomized Redundant DCT Efficent Denoising by Using Random Subsampling of DCT Patches》所提供的代码后面，还提供了另外一种DCT的计算方法，其参考论文的名字是 Practical fast 1-D DCT algorithms with 11 multiplications，没看错，11次乘法，比前面的20次乘法的GT算法又要少9次，其使用的加法数据是26次，比GT算法稍微多点。赶快实践，测试结果表明速度速度为：
100W图执行时间105ms，快速模式时间30ms左右。
再次感谢万能的数学啊。
最后我也尝试了进行4X4的DCT变换，看看效果和速度如何，实践表明，4X4的DCT去噪在同样的Sigma参数下，效果不是很好，但是速度呢要比8X8的快速模式要快那么一丁点。
在《Randomized Redundant DCT Efficent Denoising by Using Random Subsampling of DCT Patches》论文中提到的多线程并行处理，其中计算DCT和阈值确实可以并行（这个时候就不易考虑1D的DCT的重复计算事项了），但是权重和累加值的计算不是很好弄，论文的建议是将图像然高度方向分块，然后做边界扩展，我认为这样是可行的，但编码稍显繁琐，未有去进行尝试，对于彩色图像，论文里提到用Color Decorrelation，说实在的没看懂，我就直接分解成三个独立通道，然后每个通道独立计算，最后再合成了。当然这里可以方便的用openmp的section来进行并行化处理，唯一的缺点就是占用内存会比串行的大3倍多，这就看应用场合了。
在说明一点，经过测试8*8的快速DCT去噪效果和原始的从视觉上基本看不出什么差异，但速度大约相差3到4倍，这是因为这种基于DCT的计算存在很多的冗余量，快速算法只取其中的1/4数据，亦可基本满足去噪需求，而基于4X4的去噪，由于其涉及的领域范围过小难以有效的去除噪音。因此，8x8快速算法更具有实际应用价值。
说道最后，尝试了一下AVX的代码，这个算法使用AVX编程也很简单，特别是DCT过程对一个的AVX函数只需要把那个for循环去除，然后里面的相关SIMD指令更改为_mm256就可以了，Transpose8x8则用AVX实现更为直接，阈值和累加值的计算过程修改也较为方便，编译时在编译器里的代码生成->启用增强指令集里选择：高级矢量扩展 (/arch:AVX)，编码AVX和SSE切换时的周期耗时，结果表明速度大概还能提升一点点，但仅仅是一点点，100W会对的快速模式大概能到27ms，因此对AVX的表现还是很失望的。
提供一个测试效果图：
Demo下载地址：https://files.cnblogs.com/files/Imageshop/SSE_Optimization_Demo.rar
不过令我沮丧的是，据说在手机上使用高通的芯片的Dwt去噪针对20M的图像去噪时间只要几毫秒，不知道是真是假，反正挺受打击的。
