Table of contents for Video compression and communications : from basics to H.261, H.263, H.264, MPEG2, MPEG4 for DVB and HSDPA-style adaptive turbo-transceivers / L. Hanzo, P. J. Cherriman and J. Streit.

Bibliographic record and links to related information available from the Library of Congress catalog.

Note: Contents data are machine generated based on pre-publication provided by the publisher. Contents may have variations from the printed book or be incomplete or contain other coding.


Counter
Contents
About the Authors i
Other Wiley and IEEE Press Books on Related Topics i
Preface v
Acknowledgments vii
1 Introduction 1
1.1 A Brief Introduction to Compression Theory . . . . . . . . . . . . . . . . . . 1
1.2 Introduction to Video Formats . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Evolution of Video Compression Standards . . . . . . . . . . . . . . . . . . 6
1.3.1 The International Telecommunications Union?s H.120 Standard . . . 8
1.3.2 Joint Photographic Expert Group . . . . . . . . . . . . . . . . . . . . 11
1.3.3 The ITU H.261 Standard . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.4 The Motion Pictures Expert Group . . . . . . . . . . . . . . . . . . . 11
1.3.5 The MPEG-2 Standard . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.6 The ITU H.263 Standard . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.7 The ITU H.263+/H.263++ Standards . . . . . . . . . . . . . . . . . 13
1.3.8 The MPEG-4 Standard . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.9 The H.26L/H.264 Standard . . . . . . . . . . . . . . . . . . . . . . . 14
1.4 Video Communications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5 Organisation of the Monograph . . . . . . . . . . . . . . . . . . . . . . . . . 18
I Video Codecs for HSDPA-Style Adaptive Videophones 21
2 Fractal Image Codecs 23
2.1 Fractal Principles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 One-Dimensional Fractal Coding . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.1 Fractal Codec Design . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.2 Fractal Codec Performance . . . . . . . . . . . . . . . . . . . . . . . 31
ix
x CONTENTS
2.3 Error Sensitivity and Complexity . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3 Low Bit-Rate DCT Codecs and HSDPA-Style Videophones 39
3.1 Video Codec Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 The Principle of Motion Compensation . . . . . . . . . . . . . . . . . . . . 41
3.2.1 Distance Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.2 Motion Search Algorithms . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.2.1 Full or Exhaustive Motion Search . . . . . . . . . . . . . . 46
3.2.2.2 Gradient-Based Motion Estimation . . . . . . . . . . . . . 47
3.2.2.3 Hierarchical or Tree Search . . . . . . . . . . . . . . . . . 48
3.2.2.4 Subsampling Search . . . . . . . . . . . . . . . . . . . . . 49
3.2.2.5 Post-Processing of Motion Vectors . . . . . . . . . . . . . 50
3.2.2.6 Gain-Cost-Controlled Motion Compensation . . . . . . . . 51
3.2.3 Other Motion Estimation Techniques . . . . . . . . . . . . . . . . . 52
3.2.3.1 Pel-Recursive Displacement Estimation . . . . . . . . . . 52
3.2.3.2 Grid Interpolation Techniques . . . . . . . . . . . . . . . . 53
3.2.3.3 MC Using Higher Order Transformations . . . . . . . . . . 54
3.2.3.4 MC in the Transform Domain . . . . . . . . . . . . . . . . 54
3.2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 Transform Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3.1 One-Dimensional Transform Coding . . . . . . . . . . . . . . . . . . 55
3.3.2 Two-Dimensional Transform Coding . . . . . . . . . . . . . . . . . 56
3.3.3 Quantizer Training for Single-Class DCT . . . . . . . . . . . . . . . 60
3.3.4 Quantizer Training for Multiclass DCT . . . . . . . . . . . . . . . . 61
3.4 The Codec Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.5 Initial Intra-Frame Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.6 Gain-Controlled Motion Compensation . . . . . . . . . . . . . . . . . . . . 64
3.7 The MCER Active/Passive Concept . . . . . . . . . . . . . . . . . . . . . . 66
3.8 Partial Forced Update of the Reconstructed Frame Buffers . . . . . . . . . . 67
3.9 The Gain/Cost-Controlled Inter-Frame Codec . . . . . . . . . . . . . . . . . 69
3.9.1 Complexity Considerations and Reduction Techniques . . . . . . . . 70
3.10 The Bit-Allocation Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.11 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.12 DCT Codec Performance under Erroneous Conditions . . . . . . . . . . . . . 74
3.12.1 Bit Sensitivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.12.2 Bit Sensitivity of Codec I and II . . . . . . . . . . . . . . . . . . . . 78
3.13 DCT-Based Low-Rate Video Transceivers . . . . . . . . . . . . . . . . . . . 79
3.13.1 Choice of Modem . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.13.2 Source-Matched Transceiver . . . . . . . . . . . . . . . . . . . . . 79
3.13.2.1 System 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.13.2.1.1 System Concept . . . . . . . . . . . . . . . . . . 79
3.13.2.1.2 Sensitivity-Matched Modulation . . . . . . . . . 80
3.13.2.1.3 Source Sensitivity . . . . . . . . . . . . . . . . . 80
3.13.2.1.4 Forward Error Correction . . . . . . . . . . . . . 81
3.13.2.1.5 Transmission Format . . . . . . . . . . . . . . . 82
CONTENTS xi
3.13.2.2 System 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.13.2.2.1 Automatic Repeat Request . . . . . . . . . . . . 84
3.13.2.3 Systems 3?5 . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.14 System Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.14.1 Performance of System 1 . . . . . . . . . . . . . . . . . . . . . . . . 86
3.14.2 Performance of System 2 . . . . . . . . . . . . . . . . . . . . . . . . 89
3.14.2.1 FER Performance . . . . . . . . . . . . . . . . . . . . . . 89
3.14.2.2 Slot Occupancy Performance . . . . . . . . . . . . . . . . 90
3.14.2.3 PSNR Performance . . . . . . . . . . . . . . . . . . . . . 92
3.14.3 Performance of Systems 3?5 . . . . . . . . . . . . . . . . . . . . . . 93
3.15 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4 Low Bit-Rate VQ Codecs and HSDPA-Style Videophones 99
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.2 The Codebook Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.3 The Vector Quantizer Design . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.3.1 Mean and Shape Gain Vector Quantization . . . . . . . . . . . . . . 106
4.3.2 Adaptive Vector Quantization . . . . . . . . . . . . . . . . . . . . . 107
4.3.3 Classified Vector Quantization . . . . . . . . . . . . . . . . . . . . . 109
4.3.4 Algorithmic Complexity . . . . . . . . . . . . . . . . . . . . . . . . 110
4.4 Performance under Erroneous Conditions . . . . . . . . . . . . . . . . . . . 112
4.4.1 Bit-Allocation Strategy . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.4.2 Bit Sensitivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
4.5 VQ-Based Low-Rate Video Transceivers . . . . . . . . . . . . . . . . . . . . 115
4.5.1 Choice of Modulation . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.5.2 Forward Error Correction . . . . . . . . . . . . . . . . . . . . . . . 116
4.5.3 Architecture of System 1 . . . . . . . . . . . . . . . . . . . . . . . . 118
4.5.4 Architecture of System 2 . . . . . . . . . . . . . . . . . . . . . . . . 119
4.5.5 Architecture of Systems 3?6 . . . . . . . . . . . . . . . . . . . . . . 120
4.6 System Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
4.6.1 Simulation Environment . . . . . . . . . . . . . . . . . . . . . . . . 120
4.6.2 Performance of Systems 1 and 3 . . . . . . . . . . . . . . . . . . . . 121
4.6.3 Performance of Systems 4 and 5 . . . . . . . . . . . . . . . . . . . . 123
4.6.4 Performance of Systems 2 and 6 . . . . . . . . . . . . . . . . . . . . 125
4.7 Joint Iterative Decoding of Trellis-Based VQ-Video and TCM . . . . . . . . 126
4.7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4.7.2 System Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.7.3 Compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.7.4 Vector quantization decomposition . . . . . . . . . . . . . . . . . . . 128
4.7.5 Serial concatenation and iterative decoding . . . . . . . . . . . . . . 128
4.7.6 Transmission Frame Structure . . . . . . . . . . . . . . . . . . . . . 130
4.7.7 Frame difference decomposition . . . . . . . . . . . . . . . . . . . . 130
4.7.8 VQ codebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
4.7.9 VQ-induced code constraints . . . . . . . . . . . . . . . . . . . . . . 133
4.7.10 VQ trellis structure . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
4.7.11 VQ Encoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
xii CONTENTS
4.7.12 VQ Decoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.7.13 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
4.8 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
5 Low Bit-Rate Quad-Tree-Based Codecs and HSDPA-Style Videophones 147
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.2 Quad-Tree Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.3 Quad-Tree Intensity Match . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.3.1 Zero-Order Intensity Match . . . . . . . . . . . . . . . . . . . . . . 150
5.3.2 First-Order Intensity Match . . . . . . . . . . . . . . . . . . . . . . 152
5.3.3 Decomposition Algorithmic Issues . . . . . . . . . . . . . . . . . . . 153
5.4 Model-Based Parametric Enhancement . . . . . . . . . . . . . . . . . . . . . 156
5.4.1 Eye and Mouth Detection . . . . . . . . . . . . . . . . . . . . . . . 157
5.4.2 Parametric Codebook Training . . . . . . . . . . . . . . . . . . . . . 159
5.4.3 Parametric Encoding . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.5 The Enhanced QT Codec . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.6 Performance under Erroneous Conditions . . . . . . . . . . . . . . . . . . . 162
5.6.1 Bit Allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
5.6.2 Bit Sensitivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.7 QT-Codec-Based Video Transceivers . . . . . . . . . . . . . . . . . . . . . . 165
5.7.1 Channel Coding and Modulation . . . . . . . . . . . . . . . . . . . . 165
5.7.2 QT-Based Transceiver Architectures . . . . . . . . . . . . . . . . . . 167
5.8 QT-Based Video-Transceiver Performance . . . . . . . . . . . . . . . . . . . 170
5.9 Summary of QT-Based Video Transceivers . . . . . . . . . . . . . . . . . . . 173
5.10 Summary of Low-Rate Codecs/Transceivers . . . . . . . . . . . . . . . . . . 174
II High-Resolution Video Coding 179
6 Low-Complexity Techniques 181
6.1 Differential Pulse Code Modulation . . . . . . . . . . . . . . . . . . . . . . 181
6.1.1 Basic Differential Pulse Code Modulation . . . . . . . . . . . . . . . 181
6.1.2 Intra/Inter-Frame Differential Pulse Code Modulation . . . . . . . . 183
6.1.3 Adaptive Differential Pulse Code Modulation . . . . . . . . . . . . . 185
6.2 Block Truncation Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
6.2.1 The Block Truncation Algorithm . . . . . . . . . . . . . . . . . . . . 185
6.2.2 Block Truncation Codec Implementations . . . . . . . . . . . . . . . 188
6.2.3 Intra-Frame Block Truncation Coding . . . . . . . . . . . . . . . . . 188
6.2.4 Inter-Frame Block Truncation Coding . . . . . . . . . . . . . . . . . 189
6.3 Subband Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
6.3.1 Perfect Reconstruction Quadrature Mirror Filtering . . . . . . . . . . 193
6.3.1.1 Analysis Filtering . . . . . . . . . . . . . . . . . . . . . . 193
6.3.1.2 Synthesis Filtering . . . . . . . . . . . . . . . . . . . . . . 196
6.3.1.3 Practical QMF Design Constraints . . . . . . . . . . . . . 197
6.3.2 Practical Quadrature Mirror Filters . . . . . . . . . . . . . . . . . . . 200
6.3.3 Run-Length-Based Intra-Frame Subband Coding . . . . . . . . . . . 203
CONTENTS xiii
6.3.4 Max-Lloyd-Based Subband Coding . . . . . . . . . . . . . . . . . . 206
6.4 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
7 High-Resolution DCT Coding 211
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
7.2 Intra-Frame Quantizer Training . . . . . . . . . . . . . . . . . . . . . . . . . 211
7.3 Motion Compensation for High-Quality Images . . . . . . . . . . . . . . . . 216
7.4 Inter-Frame DCT Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
7.4.1 Properties of the DCT transformed MCER . . . . . . . . . . . . . . 222
7.4.2 Joint Motion Compensation and Residual Encoding . . . . . . . . . . 228
7.5 The Proposed Codec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.5.1 Motion Compensation . . . . . . . . . . . . . . . . . . . . . . . . . 231
7.5.2 The Inter/Intra-DCT Codec . . . . . . . . . . . . . . . . . . . . . . . 233
7.5.3 Frame Alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7.5.4 Bit-Allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
7.5.5 The Codec Performance . . . . . . . . . . . . . . . . . . . . . . . . 237
7.5.6 Error Sensitivity and Complexity . . . . . . . . . . . . . . . . . . . 238
7.6 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
III H.261, H.263, H.264, MPEG2 and MPEG 4 for
HSDPA-Style Wireless Video Telephony and DVB 243
8 H.261 for HSDPA-Style Wireless Video Telephony 245
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
8.2 The H.261 Video Coding Standard . . . . . . . . . . . . . . . . . . . . . . . 245
8.2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
8.2.2 Source Encoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
8.2.3 Coding Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
8.2.4 Video Multiplex Coder . . . . . . . . . . . . . . . . . . . . . . . . . 249
8.2.4.1 Picture Layer . . . . . . . . . . . . . . . . . . . . . . . . 250
8.2.4.2 Group of Blocks Layer . . . . . . . . . . . . . . . . . . . 251
8.2.4.3 Macroblock Layer . . . . . . . . . . . . . . . . . . . . . . 253
8.2.4.4 Block Layer . . . . . . . . . . . . . . . . . . . . . . . . . 254
8.2.5 Simulated Coding Statistics . . . . . . . . . . . . . . . . . . . . . . 256
8.2.5.1 Fixed-Quantizer Coding . . . . . . . . . . . . . . . . . . . 257
8.2.5.2 Variable Quantizer Coding . . . . . . . . . . . . . . . . . 258
8.3 Effect of Transmission Errors on the H.261 Codec . . . . . . . . . . . . . . . 259
8.3.1 Error Mechanisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
8.3.2 Error Control Mechanisms . . . . . . . . . . . . . . . . . . . . . . . 262
8.3.2.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . 262
8.3.2.2 Intra-Frame Coding . . . . . . . . . . . . . . . . . . . . . 262
8.3.2.3 Automatic Repeat Request . . . . . . . . . . . . . . . . . 263
8.3.2.4 Reconfigurable Modulations Schemes . . . . . . . . . . . 263
8.3.2.5 Combined Source/Channel Coding . . . . . . . . . . . . . 263
8.3.3 Error Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
xiv CONTENTS
8.3.4 Effects of Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
8.3.4.1 Qualitative Effect of Errors on H.261 Parameters . . . . . . 265
8.3.4.2 Quantitative Effect of Errors on a H.261 Data Stream . . . 268
8.3.4.2.1 Errors in an Intra-Coded Frame . . . . . . . . . . 268
8.3.4.2.2 Errors in an Inter-Coded Frame . . . . . . . . . . 270
8.3.4.2.3 Errors in Quantizer Indices . . . . . . . . . . . . 273
8.3.4.2.4 Errors in an Inter-Coded Frame withMotion Vectors
. . . . . . . . . . . . . . . . . . . . . . . . 275
8.3.4.2.5 Errors in an Inter-Coded Frame at Low Rate . . . 277
8.4 A Reconfigurable Wireless Videophone System . . . . . . . . . . . . . . . . 279
8.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.4.2 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.4.3 Bit-Rate Reduction of the H.261 Codec . . . . . . . . . . . . . . . . 280
8.4.4 Investigation of Macroblock Size . . . . . . . . . . . . . . . . . . . 280
8.4.5 Error Correction Coding . . . . . . . . . . . . . . . . . . . . . . . . 283
8.4.6 Packetization Algorithm . . . . . . . . . . . . . . . . . . . . . . . . 284
8.4.6.1 Encoding History List . . . . . . . . . . . . . . . . . . . . 285
8.4.6.2 Macroblock Compounding . . . . . . . . . . . . . . . . . 285
8.4.6.3 End of Frame Effect . . . . . . . . . . . . . . . . . . . . . 288
8.4.6.4 Packet Transmission Feedback . . . . . . . . . . . . . . . 288
8.4.6.5 Packet Truncation and Compounding Algorithms . . . . . 289
8.5 H.261-Based Wireless Videophone System Performance . . . . . . . . . . . 290
8.5.1 System Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . 290
8.5.2 System Performance . . . . . . . . . . . . . . . . . . . . . . . . . . 293
8.6 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
9 Comparison of the H.261 and H.263 Codecs 301
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
9.2 The H.263 Coding Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 303
9.2.1 Source Encoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
9.2.1.1 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . 303
9.2.1.2 Motion Compensation and Transform Coding . . . . . . . 303
9.2.1.3 Quantization . . . . . . . . . . . . . . . . . . . . . . . . . 304
9.2.2 Video Multiplex Coder . . . . . . . . . . . . . . . . . . . . . . . . . 304
9.2.2.1 Picture Layer . . . . . . . . . . . . . . . . . . . . . . . . 305
9.2.2.2 Group of Blocks Layer . . . . . . . . . . . . . . . . . . . 306
9.2.2.3 H.261 Macroblock Layer . . . . . . . . . . . . . . . . . . 307
9.2.2.4 H.263 Macroblock Layer . . . . . . . . . . . . . . . . . . 308
9.2.2.5 Block Layer . . . . . . . . . . . . . . . . . . . . . . . . . 312
9.2.3 Motion Compensation . . . . . . . . . . . . . . . . . . . . . . . . . 312
9.2.3.1 H.263 Motion Vector Predictor . . . . . . . . . . . . . . . 313
9.2.3.2 H.263 Subpixel Interpolation . . . . . . . . . . . . . . . . 314
9.2.4 H.263 Negotiable Options . . . . . . . . . . . . . . . . . . . . . . . 314
9.2.4.1 Unrestricted Motion Vector Mode . . . . . . . . . . . . . . 315
9.2.4.2 Syntax-Based Arithmetic Coding Mode . . . . . . . . . . 317
9.2.4.2.1 Arithmetic coding [1] . . . . . . . . . . . . . . . 317
CONTENTS xv
9.2.4.3 Advanced Prediction Mode . . . . . . . . . . . . . . . . . 319
9.2.4.3.1 Four Motion Vectors per Macroblock . . . . . . . 319
9.2.4.3.2 Overlapped Motion Compensation for
Luminance . . . . . . . . . . . . . . . . . . . . . 320
9.2.4.4 P-B Frames Mode . . . . . . . . . . . . . . . . . . . . . . 322
9.3 Performance Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9.3.2 H.261 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9.3.3 H.261/H.263 Performance Comparison . . . . . . . . . . . . . . . . 328
9.3.4 H.263 Codec Performance . . . . . . . . . . . . . . . . . . . . . . . 331
9.3.4.1 Gray-Scale versus Color Comparison . . . . . . . . . . . . 331
9.3.4.2 Comparison of QCIF Resolution Color Video . . . . . . . 334
9.3.4.3 Coding Performance at Various Resolutions . . . . . . . . 334
9.4 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
10 H.263 for HSDPA-Style Wireless Video Telephony 345
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
10.2 H.263 in a Mobile Environment . . . . . . . . . . . . . . . . . . . . . . . . 345
10.2.1 Problems of Using H.263 in a Mobile Environment . . . . . . . . . . 345
10.2.2 Possible Solutions for Using H.263 in a Mobile Environment . . . . . 346
10.2.2.1 Coding Video Sequences Using Exclusively Intra-Coded
Frames . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
10.2.2.2 Automatic Repeat Requests . . . . . . . . . . . . . . . . . 347
10.2.2.3 Multimode Modulation Schemes . . . . . . . . . . . . . . 347
10.2.2.4 Combined Source/Channel Coding . . . . . . . . . . . . . 348
10.3 Design of an Error-Resilient Reconfigurable Videophone System . . . . . . . 349
10.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
10.3.2 Controling the Bit Rate . . . . . . . . . . . . . . . . . . . . . . . . . 349
10.3.3 Employing FEC Codes in the Videophone System . . . . . . . . . . 351
10.3.4 Transmission Packet Structure . . . . . . . . . . . . . . . . . . . . . 352
10.3.5 Coding Parameter History List . . . . . . . . . . . . . . . . . . . . . 353
10.3.6 The Packetization Algorithm . . . . . . . . . . . . . . . . . . . . . . 355
10.3.6.1 Operational Scenarios of the Packetizing Algorithm . . . . 355
10.4 H.263-Based Video System Performance . . . . . . . . . . . . . . . . . . . . 358
10.4.1 System Environment . . . . . . . . . . . . . . . . . . . . . . . . . . 358
10.4.2 Performance Results . . . . . . . . . . . . . . . . . . . . . . . . . . 360
10.4.2.1 Error-Free Transmission Results . . . . . . . . . . . . . . 360
10.4.2.2 Effect of Packet Dropping on Image Quality . . . . . . . . 360
10.4.2.3 Image Quality versus Channel Quality without ARQ . . . . 361
10.4.2.4 Image Quality versus Channel Quality with ARQ . . . . . 362
10.4.3 Comparison of H.263 and H.261-Based Systems . . . . . . . . . . . 363
10.4.3.1 Performance with Antenna Diversity . . . . . . . . . . . . 364
10.4.3.2 Performance over DECT Channels . . . . . . . . . . . . . 370
10.5 Transmission Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
10.5.1 ARQ Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
10.5.2 Implementation of Transmission Feedback . . . . . . . . . . . . . . 378
xvi CONTENTS
10.5.2.1 Majority Logic Coding . . . . . . . . . . . . . . . . . . . 379
10.6 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
11 MPEG-4 Video Compression 385
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
11.2 Overview of MPEG-4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
11.2.1 MPEG-4 Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
11.2.2 MPEG-4 Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
11.2.3 MPEG-4 Object Based Orientation . . . . . . . . . . . . . . . . . . 390
11.3 MPEG-4 : Content-Based Interactivity . . . . . . . . . . . . . . . . . . . . . 393
11.3.1 Video Object Plane Based Encoding . . . . . . . . . . . . . . . . . . 395
11.3.2 Motion and Texture Encoding . . . . . . . . . . . . . . . . . . . . . 396
11.3.3 Shape Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
11.3.3.1 VOP Shape Encoding . . . . . . . . . . . . . . . . . . . . 400
11.3.3.2 Gray Scale Shape Coding . . . . . . . . . . . . . . . . . . 402
11.4 Scalability of Video Objects . . . . . . . . . . . . . . . . . . . . . . . . . . 402
11.5 Video Quality Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
11.5.1 Subjective Video Quality Evaluation . . . . . . . . . . . . . . . . . . 404
11.5.2 Objective Video Quality . . . . . . . . . . . . . . . . . . . . . . . . 406
11.6 Effect of Coding Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . 406
11.7 Summary and Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
12 Comparative Study of the MPEG-4 and H.264 Codecs 415
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
12.2 The ITU-T H.264 Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
12.3 H.264 Video Coding Techniques . . . . . . . . . . . . . . . . . . . . . . . . 416
12.3.1 H.264 Encoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
12.3.2 H.264 Decoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
12.4 H.264 Specific Coding Algorithm . . . . . . . . . . . . . . . . . . . . . . . 418
12.4.1 Intra-frame Prediction . . . . . . . . . . . . . . . . . . . . . . . . . 418
12.4.2 Inter-frame Prediction . . . . . . . . . . . . . . . . . . . . . . . . . 420
12.4.2.1 Block Sizes . . . . . . . . . . . . . . . . . . . . . . . . . 421
12.4.2.2 Motion Estimation Accuracy . . . . . . . . . . . . . . . . 421
12.4.2.3 Multiple Reference Frame Selection for Motion Compensation
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
12.4.2.4 De-blocking Filter . . . . . . . . . . . . . . . . . . . . . . 422
12.4.3 Integer Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
12.4.3.1 Development of the 4 ? 4-pixel Integer DCT . . . . . . . . 424
12.4.3.2 Quantisation . . . . . . . . . . . . . . . . . . . . . . . . . 427
12.4.3.3 The Combined Transform, Quantisation, Rescaling and Inverse
Transform Process . . . . . . . . . . . . . . . . . . . 428
12.4.3.4 Integer Transform Example . . . . . . . . . . . . . . . . . 429
12.4.4 Entropy Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
12.4.4.1 Universal Variable Length Coding . . . . . . . . . . . . . 432
12.4.4.2 Context-Based Adaptive Binary Arithmetic Coding . . . . 432
12.4.4.3 H.264 Conclusion . . . . . . . . . . . . . . . . . . . . . . 432
CONTENTS xvii
12.5 Comparative Study of the MPEG-4 and H.264 Codecs . . . . . . . . . . . . 433
12.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
12.5.2 Intra-frame Coding and Prediction . . . . . . . . . . . . . . . . . . . 433
12.5.3 Inter-frame Prediction and Motion Compensation . . . . . . . . . . . 434
12.5.4 Transform Coding and Quantisation . . . . . . . . . . . . . . . . . . 435
12.5.5 Entropy Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
12.5.6 De-blocking Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
12.6 Performance Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
12.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
12.6.2 MPEG-4 Performance . . . . . . . . . . . . . . . . . . . . . . . . . 436
12.6.3 H.264 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
12.6.4 Comparative Study . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
12.6.5 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . 441
13 MPEG-4 Bitstream and Bit-Sensitivity Study 447
13.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
13.2 Structure of Coded Visual Data . . . . . . . . . . . . . . . . . . . . . . . . . 447
13.3 Visual Bitstream Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
13.3.1 Start Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
13.4 Introduction to Error-Resilient Video Encoding . . . . . . . . . . . . . . . . 451
13.5 Error-Resilient Video Coding in MPEG-4 . . . . . . . . . . . . . . . . . . . 451
13.6 Error Resilience Tools in MPEG-4 . . . . . . . . . . . . . . . . . . . . . . . 452
13.6.1 Resynchronisation . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
13.6.2 Data Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
13.6.3 Reversible Variable-Length Codes . . . . . . . . . . . . . . . . . . . 457
13.6.4 Header Extension Code . . . . . . . . . . . . . . . . . . . . . . . . . 458
13.7 MPEG-4 Bit-Sensitivity Study . . . . . . . . . . . . . . . . . . . . . . . . . 458
13.7.1 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458
13.7.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458
13.7.3 Simulated Coding Statistics . . . . . . . . . . . . . . . . . . . . . . 459
13.7.4 Effects of Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463
13.8 Chapter Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468
14 HSDPA-Like and Turbo-Style Adaptive Single- and Multi-Carrier
Video Systems 469
14.1 Turbo-equalised H.263-based videophony for GSM/GPRS . . . . . . . . . . 469
14.1.1 Motivation and Background . . . . . . . . . . . . . . . . . . . . . . 469
14.1.2 System Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
14.1.3 Turbo Equalization . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
14.1.4 Turbo-equalization Performance . . . . . . . . . . . . . . . . . . . . 476
14.1.4.1 Video Performance . . . . . . . . . . . . . . . . . . . . . 477
14.1.4.2 Bit Error Statistics . . . . . . . . . . . . . . . . . . . . . . 480
14.1.5 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . 481
14.2 HSDPA-Style Burst-by-burst Adaptive CDMA Videophony . . . . . . . . . . 482
14.2.1 Motivation and Video Transceiver Overview . . . . . . . . . . . . . 482
14.2.2 Multimode Video System Performance . . . . . . . . . . . . . . . . 486
xviii CONTENTS
14.2.3 Burst-by-Burst Adaptive Videophone System . . . . . . . . . . . . . 490
14.2.4 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . 496
14.3 Adaptive Turbo-Coded OFDM-Based Videotelephony . . . . . . . . . . . . . 496
14.3.1 Motivation and Background . . . . . . . . . . . . . . . . . . . . . . 496
14.3.2 AOFDM Modem Mode Adaptation and Signaling . . . . . . . . . . . 498
14.3.3 AOFDM Subband BER Estimation . . . . . . . . . . . . . . . . . . 498
14.3.4 Video Compression and Transmission Aspects . . . . . . . . . . . . 498
14.3.5 Comparison of Subband-Adaptive OFDM and Fixed Mode
OFDM Transceivers . . . . . . . . . . . . . . . . . . . . . . . . . . 499
14.3.6 Subband-Adaptive OFDM Transceivers Having Different
Target Bit Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504
14.3.7 Time-Variant Target Bit Rate OFDM Transceivers . . . . . . . . . . 508
14.3.8 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . 518
14.4 HSDPA-Style Adaptive TCM, TTCM and BICM for H.263 Video Telephony 518
14.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518
14.4.2 System Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
14.4.2.1 System Parameters and Channel Model . . . . . . . . . . . 521
14.4.3 Employing Fixed Modulation Modes . . . . . . . . . . . . . . . . . 524
14.4.4 Employing Adaptive Modulation . . . . . . . . . . . . . . . . . . . . 525
14.4.4.1 Performance of TTCM AQAM . . . . . . . . . . . . . . . 527
14.4.4.2 Performance of AQAMUsing TTCM, TCC, TCMand BICM530
14.4.4.3 The Effect of Various AQAM Thresholds . . . . . . . . . . 531
14.4.5 TTCM AQAM in CDMA system . . . . . . . . . . . . . . . . . . . 534
14.4.5.1 Performance of TTCM AQAM in CDMA system . . . . . 538
14.4.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539
14.5 Turbo-Detected MPEG-4 Video Using Multi-Level Coding, TCM and STTC 540
14.5.1 Motivation and Background . . . . . . . . . . . . . . . . . . . . . . 540
14.5.2 The Turbo Transceiver . . . . . . . . . . . . . . . . . . . . . . . . . 541
14.5.2.1 Turbo Decoding . . . . . . . . . . . . . . . . . . . . . . . 542
14.5.2.2 Turbo Benchmark Scheme . . . . . . . . . . . . . . . . . 544
14.5.3 MIMO Channel Capacity . . . . . . . . . . . . . . . . . . . . . . . . 545
14.5.4 Convergence Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 548
14.5.5 Simulation results . . . . . . . . . . . . . . . . . . . . . . . . . . . 552
14.5.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554
14.6 Near-Capacity Irregular Variable Length Codes . . . . . . . . . . . . . . . . 555
14.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555
14.6.2 Overview of Proposed Schemes . . . . . . . . . . . . . . . . . . . . 558
14.6.2.1 Joint source and channel coding . . . . . . . . . . . . . . . 559
14.6.2.2 Iterative decoding . . . . . . . . . . . . . . . . . . . . . . 561
14.6.3 Parameter Design for the Proposed Schemes . . . . . . . . . . . . . 563
14.6.3.1 Scheme hypothesis and parameters . . . . . . . . . . . . . 563
14.6.3.2 EXIT chart analysis and optimization . . . . . . . . . . . . 564
14.6.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566
14.6.4.1 Asymptotic performance following iterative decoding convergence
. . . . . . . . . . . . . . . . . . . . . . . . . . . 566
14.6.4.2 Performance during iterative decoding . . . . . . . . . . . 568
CONTENTS xix
14.6.4.3 Complexity analysis . . . . . . . . . . . . . . . . . . . . . 569
14.6.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571
14.7 Digital Terrestrial Video Broadcasting for Mobile Receivers . . . . . . . . . 572
14.7.1 Background and Motivation . . . . . . . . . . . . . . . . . . . . . . 572
14.7.2 MPEG-2 Bit Error Sensitivity . . . . . . . . . . . . . . . . . . . . . 573
14.7.3 DVB Terrestrial Scheme . . . . . . . . . . . . . . . . . . . . . . . . 584
14.7.4 Terrestrial Broadcast Channel Model . . . . . . . . . . . . . . . . . 587
14.7.5 Data Partitioning Scheme . . . . . . . . . . . . . . . . . . . . . . . 588
14.7.6 Performance of the Data Partitioning Scheme . . . . . . . . . . . . . 594
14.7.7 Nonhierarchical OFDM DVBP Performance . . . . . . . . . . . . . 605
14.7.8 Hierarchical OFDM DVB Performance . . . . . . . . . . . . . . . . 610
14.7.9 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . 613
14.8 Satellite-Based Video Broadcasting . . . . . . . . . . . . . . . . . . . . . . 617
14.8.1 Background and Motivation . . . . . . . . . . . . . . . . . . . . . . 617
14.8.2 DVB Satellite Scheme . . . . . . . . . . . . . . . . . . . . . . . . . 617
14.8.3 Satellite Channel Model . . . . . . . . . . . . . . . . . . . . . . . . 620
14.8.4 The Blind Equalizers . . . . . . . . . . . . . . . . . . . . . . . . . . 621
14.8.5 Performance of the DVB Satellite Scheme . . . . . . . . . . . . . . . 624
14.8.5.1 Transmission over the Symbol-Spaced Two-Path
Channel . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
14.8.5.2 Transmission over the Two-Symbol Delay Two-Path Channel628
14.8.5.3 Performance Summary of the DVB-S System . . . . . . . 634
14.8.6 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . 637
14.9 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 639
14.10Wireless Video System Design Principles . . . . . . . . . . . . . . . . . . . 640
Glossary 643
Bibliography 653
Subject Index 677
Author Index 687

Library of Congress Subject Headings for this publication:

Video compression.
Digital video.
Mobile communication systems.