Applied Speech and Audio Processing: With matlab examples

2.4. Segmentation
19
Figure 2.4
Illustration of an original audio recording (the upper waveform) divided into two
offset sequences of analysis windows (two lower waveforms) with 50% overlapping frames so
that no short-term auditory feature is obscured by straddling the boundary between analysis
windows: it will appear unbroken in at least one of the two analysis streams.
Readers with experience of implementation might immediately notice one disadvan-
tage with overlap: namely that we end up with more audio: a 50% overlap doubles the
number of frames that need to be processed.
Both segmentation and overlap also cause problems with processing, as opposed to
analysis. Note that analysis is simply a one-way process where audio goes into an ana-
lyser, and some measure comes out. Processing differs in that audio enters the processing
system, and then (presumably different) audio comes out again.
So now imagine each frame of audio being processed in some way. For example, if
each frame is scaled with respect to its average value, sometimes referred to as auto-
zeroing, then the frames are stuck back together to produce averaged output audio.
First of all is the question of how to cope with the overlap. The frames cannot simply
be concatenated because there would then be twice as many samples, and adding them
together won’t work either.
Even with no overlap Figure 2.5 illustrates another problem if frames have been
split, processed and then rejoined: there is a discontinuity between neighbouring frames.
Something like this is very easily audible to the ear which perceives it as a clicking
sound. In fact it turns out that almost any type of non-trivial processing will result in
such discontinuities.
2.4.2
Windowing
The work-around for many of the segmentation and overlap problems is windowing
prior to reassembly. A judicious choice of window alleviates the joining together of
overlapped, processed frames (see, for example, Chapter 18 of [1]). Windowing is also
a prerequisite for frequency analysis to prevent edge effects – Gibbs phenomena – by
the FFT [2].

---

20