8.2.2 可视化频率

    人们通常用来分析音频的方法是可视化其中存在的频率。通常这些类型的可视化采用均衡器，均衡器允许调整各种频率范围的级别。

    将音频信号转换成分量频率(component frequency)的技术采用了一个数学变换，称为离散傅里叶变换(Discrete Fourier Transform,DFT)。DFT通常用来将基于时间的数据转换成基于频率的数据。一种用来执行DFT的算法是快速傅里叶变换(FFT)，它非常有效，但是，非常复杂。

    幸运的是，存在许多FFT算法的实现，他们位于公共领域中，或者开放源代码，因此可以直接使用他们。其中的一个版本是FFTPACK库的java端口，这个库最初由国家大气研究中心的Paul Swarztrauber开发。其java端口由加拿大亚伯达省Lethbridge大学的Baoshe Zhang实现。www.netlib.org/fftpack/在线提供了各种实现。我们将要使用的文件称为jfftpack.tgz的存档，它由该页面提供链接。可以直接通过www.netlib,org/jffpack.tgz下载该文件。

    为了在一个Eclipse Android项目中使用这个程序包或任何其他包含java源代码的程序包，需要将源代码导入到项目中。由于这个存档包含了程序包的正确的目录结构，因此只要将位于javasource目录(ca)的顶层文件夹拖动到项目的src目录中。

    下面是一个示例，其绘制了图像均衡器的图形部分。

package com.nthm.androidtestActivity;

import com.nthm.androidtest.R;
import android.app.Activity;
import android.graphics.Bitmap;
import android.graphics.Canvas;
import android.graphics.Color;
import android.graphics.Paint;
import android.media.AudioFormat;
import android.media.AudioRecord;
import android.media.MediaRecorder;
import android.os.AsyncTask;
import android.os.Bundle;
import android.view.View;
import android.view.View.OnClickListener;
import android.widget.Button;
import android.widget.ImageView;

    我们将从fftpack包中导入RealDoubleFFT类。

import ca.uol.aig.fftpack.RealDoubleFFT;
public class AudioProcessing extends Activity implements OnClickListener {

    我们将在AudioRecord对象中使用8kHz的频率，单音频通道和16位的样本。

    private int frequency=8000;
    private int channelConfiguration=AudioFormat.CHANNEL_CONFIGURATION_MONO;
    private int audioEncoding=AudioFormat.ENCODING_PCM_16BIT;

    transformer将是我们的FFT对象，通过该FFT对象，可以一次性处理来自AudioRecord对象的256个样本。使用的样本数量将对应于通过FFT对象运行他们之后获得的分量频率的数量。虽然可以自由选择不同的大小，但是确实需要考虑内存和性能的问题，因为需要计算的算术操作时处理器密集型的。

    private RealDoubleFFT transformer;
    private int blockSize=256;
    private Button startStopButton;
    private boolean started=false;

    下面定义的RecordAudio是内部类，其扩展了AsyncTask。

    private RecordAudio recordTask;

    我们将使用ImageView显示一幅位图图像，其表示当前音频流中各种频率的级别。为了绘制这些级别，可以使用通过该位图构造的Canvas和Paint对象。

    private ImageView imageView;
    private Bitmap bitmap;
    private Canvas canvas;
    private Paint paint;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        startStopButton=(Button) findViewById(R.id.StartStopButton);
        startStopButton.setOnClickListener(this);

    RealDoubleFFT类的构造函数接受每次处理的样品数量作为参数。这也代表了将要输出的不同频率范围的数量。

        transformer=new RealDoubleFFT(blockSize);

    下面是ImageView的设置和用于绘图的相关对象。

        imageView=(ImageView) findViewById(R.id.ImageView01);
        bitmap=Bitmap.createBitmap((int)256, (int)100, Bitmap.Config.ARGB_8888);
        canvas=new Canvas(bitmap);
        paint=new Paint();
        paint.setColor(Color.GREEN);
        imageView.setImageBitmap(bitmap);
    }

    这个活动中的大部分工作在下面的RecordAudio类中完成，其扩展了AsyncTask。通过使用AsyncTask，可以在一个单独的线程上运行绑定用户界面的方法。任何放置在doInBackground方法中的代码都将以这种方式运行。

    private class RecordAudio extends AsyncTask<Void, double[], Void>{

        @Override
        protected Void doInBackground(Void... params) {
            try{

    我们将以通常的方式建立和使用AudioRecord。

                int bufferSize=AudioRecord.getMinBufferSize(frequency, channelConfiguration, audioEncoding);
                AudioRecord audioRecord=new AudioRecord(MediaRecorder.AudioSource.MIC, frequency, channelConfiguration, audioEncoding, bufferSize);

    short类型的数组buffer将接受来自AudioRecord对象的原始PCM样本。Double类型的数组toTransform将以双精度的形式存储相同的数据，因为这是FFT类所需要的类型。

                short [] buffer=new short[blockSize];
                double[] toTransform=new double[blockSize];
                audioRecord.startRecording();
                while(started){
                    int bufferReadResult=audioRecord.read(buffer, 0,blockSize);

    从AudioRecord对象中读取数据之后进行遍历，并将short值转换成double值。但是，不能直接通过强制类型转换这么做，因为期望值应该在-1.0~1.0之间，而不是整个值范围。将short值除以Short.MAX_VALUE将实现这个目的，因为该值是short类型的最大值。

                    for(int i=0;i<blockSize&&i<bufferReadResult;i++){
                        toTransform[i]=(double)buffer[i]/Short.MAX_VALUE;//有符号16位
                    }

    接下来将双精度值的数组传递给FFT对象。FFT对象重用这个相同的数组来保存输出值。包含的数据将采用频域(frequency domain)而非时域(time domain)，这意味着数组的第一个元素不是根据时间表示第一个样本——相反，它表示第一个频率集合的级别。

    由于使用256个值(或范围)且采样率是8000，因此可以确定数组中的每个元素将近似覆盖15.625Hz。通过将这个采样率除以2(因为可以捕获的最高频率是采样率的一半)，然后除以256，就可以得到这个数字。因此，数组中第一个元素表示的数据将代表在0~15.625Hz之间的音频级别。

                    transformer.ft(toTransform);

    调用publishProgress方法将会调用onProgressUpdate。

                    publishProgress(toTransform);
                }
                audioRecord.stop();
            }catch(Exception e){
                e.printStackTrace();
            }
            return null;
        }

    onProgressUpdate子啊活动的主线程上运行，因此可以正常的与用户界面交互。在此实现中，传入了通过FFT对象运行之后的数据。该方法在屏幕上将数据绘制成一系列最大100像素高的线。每一条线表示数组中的一个元素，因此值范围是15.625Hz。第一条线表示频率范围是0~15.625Hz，而最后一条线表示频率范围是3984.375~4000Hz。

        @Override
        protected void onProgressUpdate(double[]... toTransform) {
            super.onProgressUpdate(toTransform);
            canvas.drawColor(Color.BLACK);
            for(int i=0;i<toTransform.length;i++){
                int x=i;
                int downy=(int)(100-(toTransform[0][i]*10));
                int upy=100;
                canvas.drawLine(x, downy, x, upy, paint);
            }
            imageView.invalidate();
        }
    }
    @Override
    public void onClick(View v) {
       if(started){
           started=false;
           startStopButton.setText("Start");
           recordTask.cancel(true);
       }else{
           started=true; 
           startStopButton.setText("Stop");
           recordTask=new RecordAudio();
           recordTask.execute();
       }
    }
}

    下面是刚刚定义的AudioProcessing活动所使用的布局XML文件。

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:orientation="vertical"
    >
 <TextView 
     android:id="@+id/StatusTextView"
     android:text="hello"
     android:layout_width="fill_parent"
     android:layout_height="wrap_content"
     android:textSize="35dip"></TextView>
  <ImageView 
      android:id="@+id/ImageView01"
      android:layout_width="wrap_content"
      android:layout_height="wrap_content"
      />
 <Button 
     android:layout_width="wrap_content"
     android:layout_height="wrap_content"
     android:id="@+id/StartStopButton"
     android:text="Start"/>

</LinearLayout>