Applied Speech and Audio Processing: With matlab examples

2.6
Visualisation
Plot of waveform: this is the easiest and most basic method of visualisation, and can
be very useful, especially for quickly scanning very long recordings. But beware that
most of the information is hidden and what you expect to hear after viewing a waveform
doesn’t always tie up with what you hear.
Frequency spectrum: again this was mentioned previously, and is a basic and well-
used tool. As long as it is applied correctly, and to the correct section of audio: it is
very easy to obtain a spectrum from the wrong section of a recording, thus missing an
important feature. If an entire long recording needs to be visualised in frequency terms,
then use the following:
Short-time Fourier transform (STFT): is a sliding-window narrow Fourier
transform that is repeated sequentially over a long vector of samples, performing

---

26
Basic audio processing
Figure 2.8
A spectrogram of human speech, plotting normalised frequency against time (in
milliseconds). Louder sound components are shown with a darker grey shade, and lower
amplitudes with a lighter shade.
time-frequency signal decomposition or analysis. This results in a time sequence of
individual spectra, which can be plotted against time, either in x-y-z graph, or as a
spectrogram (which is actually the magnitude squared of the transformed data):
spectrogram x
(x) = |X (τ, ω)|
2
.
In Matlab this is easy to perform with the specgram() function, which is however
unfortunately destined to be removed in a future version of Matlab. The replacement,
spectrogram()
, is available in the signal processing toolkit and does much the same
thing – having many options regarding analysis window size, overlap and number of
sample bins.
A spectrogram is essentially a set of STFT plotted as frequency against time with
the intensity (z-axis) given as a greyscale, or colour pixel. For speech analysis, the
spectrogram is an excellent method of visualising speech structure and how it changes
over time.
An example of using Matlab for plotting a spectrogram is shown in Figure 2.8,
plotted in greyscale. Some audio researchers prefer to plot their spectrograms in colour.
It is really just a matter of personal preference.
2.6.1
A brief note on axes
The horizontal axis of an FFT plot, or spectrum, is traditionally used to represent fre-
quency, whilst the vertical axis would display amplitude. A spectrogram, by contrast,
plots time along the horizontal axis, frequency on the vertical and amplitude on the z-axis
(as colour or greyscale).

---