Table of contents for Probability and statistics with R / Maria Dolores Ugarte, Ana F. Militino, and Alan Arnholt.

Bibliographic record and links to related information available from the Library of Congress catalog.

Note: Contents data are machine generated based on pre-publication provided by the publisher. Contents may have variations from the printed book or be incomplete or contain other coding.


Counter
 
Contents
1 A Brief Introduction to S 1
1.1 The Basics of S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Using S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Data Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 DataManipulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4.1 S Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4.2 Mathematical Operations . . . . . . . . . . . . . . . . . . . . . . . 4
1.4.3 Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4.4 Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.5 Reading Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.5.1 Using scan() . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.5.2 Using read.table() . . . . . . . . . . . . . . . . . . . . 8
1.4.5.3 Using write() . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.5.4 Using dump() and source() . . . . . . . . . . . . . . . 9
1.4.6 Logical Operators and Missing Values . . . . . . . . . . . . . . . . 9
1.4.7 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.8 Vector andMatrix Operations . . . . . . . . . . . . . . . . . . . . 14
1.4.9 Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.10 Lists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4.11 Data Frames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4.12 Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.13 Functions Operating on Factors and Lists . . . . . . . . . . . . . . 19
1.5 Probability Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.6 Creating Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.7 Programming Statements . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.8 Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2 ExploringData 31
2.1 What is Statistics? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3 Displaying QualitativeData . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.1 Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.2 Barplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.3 Dot Charts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3.4 Pie Charts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 Displaying QuantitativeData . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 Stem-and-Leaf Plots . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.2 Strip charts (R only) . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4.3 Histograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5 SummaryMeasures of Location . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5.1 TheMean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5.2 TheMedian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
vii
viii
2.5.3 Quantiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.5.4 Hinges and Five-Number Summary . . . . . . . . . . . . . . . . . 45
2.5.5 Boxplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.6 SummaryMeasures of Spread . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6.1 Range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6.2 Interquartile Range . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6.3 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.7 BivariateData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.7.1 Two-Way Contingency Tables . . . . . . . . . . . . . . . . . . . . 51
2.7.2 Graphical Representations of Two-Way Contingency Tables . . . . 52
2.7.3 Comparing Samples . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.7.4 Relationships Between Two Numeric Variables . . . . . . . . . . . 59
2.7.5 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.7.6 Sorting a Data Frame by One or More of its Columns . . . . . . . 61
2.7.7 Fitting Lines to Bivariate Data . . . . . . . . . . . . . . . . . . . . 62
2.8 Multivariate Data (Lattice and Trellis Graphs) . . . . . . . . . . . . . . . 67
2.8.1 Arranging Several Graphs on a Single Page . . . . . . . . . . . . . 70
2.8.2 Panel Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3 General Probability and Random Variables 79
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.2 Counting Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.2.1 Sampling with Replacement . . . . . . . . . . . . . . . . . . . . . 79
3.2.2 Sampling without Replacement . . . . . . . . . . . . . . . . . . . . 80
3.2.3 Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.3 Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.3.1 Sample Space and Events . . . . . . . . . . . . . . . . . . . . . . . 82
3.3.2 Set Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.3.3 Interpreting Probability . . . . . . . . . . . . . . . . . . . . . . . . 83
3.3.3.1 Relative Frequency Approach to Probability . . . . . . 83
3.3.3.2 Axiomatic Approach to Probability . . . . . . . . . . . 83
3.3.4 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . . 85
3.3.5 The Law of Total Probability and Bayes¿ Rule . . . . . . . . . . . 86
3.3.6 Independent Events . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.4 RandomVariables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.4.1 Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . . 90
3.4.2 Mode,Median, and Percentiles . . . . . . . . . . . . . . . . . . . . 91
3.4.3 Expected Values of Discrete Random Variables . . . . . . . . . . . 92
3.4.4 Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3.4.4.1 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3.4.4.2 Rules of Variance . . . . . . . . . . . . . . . . . . . . . 94
3.4.5 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . 94
3.4.5.1 Numerical Integration with S . . . . . . . . . . . . . . . 98
3.4.5.2 Mode, Median, and Percentiles . . . . . . . . . . . . . . 98
3.4.5.3 Expectation of Continuous Random Variables . . . . . 100
3.4.6 Markov¿s Theorem and Chebyshev¿s Inequality . . . . . . . . . . . 102
3.4.7 Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . 104
3.4.8 Skewness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.4.9 Moment Generating Functions . . . . . . . . . . . . . . . . . . . . 106
3.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
ix
4 Univariate Probability Distributions 117
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.2 Discrete Univariate Distributions . . . . . . . . . . . . . . . . . . . . . . . 117
4.2.1 Discrete Uniform Distribution . . . . . . . . . . . . . . . . . . . . 117
4.2.2 Bernoulli and Binomial Distributions . . . . . . . . . . . . . . . . 118
4.2.3 PoissonDistribution . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.2.4 Geometric Distribution . . . . . . . . . . . . . . . . . . . . . . . . 128
4.2.5 Negative Binomial Distribution . . . . . . . . . . . . . . . . . . . . 129
4.2.6 HypergeometricDistribution . . . . . . . . . . . . . . . . . . . . . 130
4.3 Continuous Univariate Distributions . . . . . . . . . . . . . . . . . . . . . 131
4.3.1 Uniform Distribution (Continuous) . . . . . . . . . . . . . . . . . 131
4.3.2 Exponential Distribution . . . . . . . . . . . . . . . . . . . . . . . 135
4.3.3 Gamma Distribution . . . . . . . . . . . . . . . . . . . . . . . . . 141
4.3.4 Hazard Function, Reliability Function, and Failure Rate . . . . . . 145
4.3.5 Weibull Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 148
4.3.6 Beta Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
4.3.7 Normal (Gaussian) Distribution . . . . . . . . . . . . . . . . . . . 153
4.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
5 Multivariate Probability Distributions 171
5.1 Joint Distribution of Two RandomVariables . . . . . . . . . . . . . . . . 171
5.1.1 Joint pdf for Two Discrete Random Variables . . . . . . . . . . . . 171
5.1.2 Joint pdf for Two Continuous Random Variables . . . . . . . . . . 173
5.2 Independent RandomVariables . . . . . . . . . . . . . . . . . . . . . . . . 175
5.3 Several RandomVariables . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
5.4 Conditional Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
5.5 Expected Values, Covariance, and Correlation . . . . . . . . . . . . . . . . 180
5.5.1 Expected Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
5.5.2 Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
5.5.3 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
5.6 Multinomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
5.7 Bivariate Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . 186
5.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
6 Sampling and Sampling Distributions 197
6.1 Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
6.1.1 Simple RandomSampling . . . . . . . . . . . . . . . . . . . . . . . 198
6.1.2 Stratified Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . 200
6.1.3 Systematic Sampling . . . . . . . . . . . . . . . . . . . . . . . . . 200
6.1.4 Cluster Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.2 Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.2.1 Infinite Populations¿ Parameters . . . . . . . . . . . . . . . . . . . 202
6.2.2 Finite Populations¿ Parameters . . . . . . . . . . . . . . . . . . . . 202
6.3 Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
6.3.1 Empirical Probability Distribution Function . . . . . . . . . . . . 204
6.3.2 Plug-in Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
6.4 Sampling Distribution of the Sample Mean . . . . . . . . . . . . . . . . . 207
6.5 Sampling Distribution for a Statistic from an Infinite Population . . . . . 212
6.5.1 Sampling Distribution for the Sample Mean . . . . . . . . . . . . . 212
6.5.1.1 First Case: Sampling Distribution of ¯X when Sampling
froma Normal Distribution . . . . . . . . . . . . . . . . 212
x
6.5.1.2 Second Case: Sampling Distribution of ¯X when X is not
a Normal RandomVariable . . . . . . . . . . . . . . . . 215
6.5.2 Sampling Distribution of the Difference of Means . . . . . . . . . . 219
6.5.3 Sampling Distribution for the Sample Proportion . . . . . . . . . 221
6.5.4 Expected Value and Variance of the Uncorrected Sample Variance
and the Sample Variance . . . . . . . . . . . . . . . . . . . . . . . 225
6.6 Sampling Distributions Associated with the Normal Distribution . . . . . 227
6.6.1 Chi-Square Distribution (?2) . . . . . . . . . . . . . . . . . . . . . 227
6.6.1.1 The Relationship Between the ?2 Distribution and the
Normal Distribution . . . . . . . . . . . . . . . . . . . . 229
6.6.1.2 Sampling Distribution for S2u
and S2 when Sampling
fromNormal Populations . . . . . . . . . . . . . . . . . 231
6.6.2 t-Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
6.6.3 The F Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 239
6.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
7 Point Estimation 247
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
7.2 Properties of Point Estimators . . . . . . . . . . . . . . . . . . . . . . . . 247
7.2.1 Mean Square Error . . . . . . . . . . . . . . . . . . . . . . . . . . 247
7.2.2 Unbiased Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . 249
7.2.3 Efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
7.2.4 Consistent Estimators . . . . . . . . . . . . . . . . . . . . . . . . . 254
7.2.5 Robust Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
7.3 Point Estimation Techniques . . . . . . . . . . . . . . . . . . . . . . . . . 257
7.3.1 Method ofMoments Estimators . . . . . . . . . . . . . . . . . . . 257
7.3.2 Likelihood and Maximum Likelihood Estimators . . . . . . . . . . 259
7.3.2.1 Fisher Information . . . . . . . . . . . . . . . . . . . . . 271
7.3.2.2 Fisher Information for Several Parameters . . . . . . . . 273
7.3.2.3 Properties of Maximum Likelihood Estimators . . . . . 275
7.3.2.4 Finding Maximum Likelihood Estimators for Multiple
Parameters . . . . . . . . . . . . . . . . . . . . . . . . . 280
7.3.2.5 Multi-parameter Properties of MLEs . . . . . . . . . . . 282
7.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
8 Confidence Intervals 293
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
8.2 Confidence Intervals for Population Means . . . . . . . . . . . . . . . . . . 294
8.2.1 Confidence Interval for the Population Mean when Sampling from
a Normal Distribution with Known Population Variance . . . . . . 294
8.2.1.1 Determining Required Sample Size . . . . . . . . . . . . 299
8.2.2 Confidence Interval for the Population Mean when Sampling from
a Normal Distribution with Unknown Population Variance . . . . 302
8.2.3 Confidence Interval for the Difference in Population Means when
Sampling from Independent Normal Distributions with Known
Equal Variances . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
8.2.4 Confidence Interval for the Difference in Population Means when
Sampling from Independent Normal Distributions with Known but
Unequal Variances . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
xi
8.2.5 Confidence Interval for the Difference in Means when Sampling
from Independent Normal Distributions with Variances that are
Unknown but Assumed Equal . . . . . . . . . . . . . . . . . . . . 310
8.2.6 Confidence Interval for a Difference in Means when Sampling from
Independent Normal Distributions with Variances that are Unknown
and Unequal . . . . . . . . . . . . . . . . . . . . . . . . . . 313
8.2.7 Confidence Interval for the Mean Difference when the Differences
have a NormalDistribution . . . . . . . . . . . . . . . . . . . . . . 315
8.3 Confidence Intervals for Population Variances . . . . . . . . . . . . . . . . 318
8.3.1 Confidence Interval for the Population Variance of a Normal Population
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
8.3.2 Confidence Interval for the Ratio of Population Variances when
Sampling from Independent Normal Distributions . . . . . . . . . 322
8.4 Confidence Intervals Based on Large Samples . . . . . . . . . . . . . . . . 324
8.4.1 Confidence interval for the Population Proportion . . . . . . . . . 325
8.4.2 Confidence Interval for a Difference in Population Proportions . . 330
8.4.3 Confidence Interval for the Mean of a Poisson Random Variable . 332
8.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
9 Hypothesis Testing 343
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
9.2 Type I and Type II Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
9.3 Power Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
9.4 UniformlyMost PowerfulTest . . . . . . . . . . . . . . . . . . . . . . . . 350
9.5 P-value or Critical Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
9.6 Tests of Significance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
9.7 Hypothesis Tests for PopulationMeans . . . . . . . . . . . . . . . . . . . 354
9.7.1 Test for the Population Mean when Sampling from a Normal Distribution
with Known Population Variance . . . . . . . . . . . . . 354
9.7.2 Test for the Population Mean when Sampling from a Normal Distribution
with Unknown Population Variance . . . . . . . . . . . . 357
9.7.3 Test for the Difference in Population Means when Sampling from
Independent Normal Distributions with Known Variances . . . . . 363
9.7.4 Test for the Difference in Means when Sampling from Independent
Normal Distributions with Variances that are Unknown but Assumed
Equal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
9.7.5 Test for a Difference in Means when Sampling from Independent
Normal Distributions with Variances that are Unknown and Unequal
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
9.7.6 Test for the Mean Difference when the Differences have a Normal
Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
9.8 Hypothesis Tests for Population Variances . . . . . . . . . . . . . . . . . . 375
9.8.1 Test for the Population Variance when Sampling from a Normal
Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
9.8.2 Test for Equality of Variances when Sampling from Independent
Normal Distributions . . . . . . . . . . . . . . . . . . . . . . . . . 378
9.9 Hypothesis Tests for Population Proportions . . . . . . . . . . . . . . . . 381
9.9.1 Testing the Proportion of Successes in a Binomial Experiment (Exact
Test) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
9.9.2 Testing the Proportion of Successes in a Binomial Experiment (Normal
Approximation) . . . . . . . . . . . . . . . . . . . . . . . . . . 385
xii
9.9.3 Testing Equality of Proportions with Fisher¿s Exact Test . . . . . 389
9.9.4 Large Sample Approximation for Testing the Difference of Two
Proportions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
9.10 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
10 Nonparametric Methods 405
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
10.2 Sign Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
10.2.1 Confidence Interval Based on the Sign Test . . . . . . . . . . . . . 406
10.2.2 Normal Approximation to the Sign Test . . . . . . . . . . . . . . . 407
10.3 Wilcoxon Signed-Rank Test . . . . . . . . . . . . . . . . . . . . . . . . . . 412
10.3.1 Confidence Interval for ? Based on the Wilcoxon Signed-Rank Test 416
10.3.2 Normal Approximation to the Wilcoxon Signed Rank Test . . . . 420
10.4 The Wilcoxon Rank-Sum or the Mann-Whitney U Test . . . . . . . . . . 425
10.4.1 Confidence Interval Based on the Mann-Whitney U Test . . . . . 429
10.4.2 Normal Approximation to the Wilcoxon Rank Sum and Mann-
Whitney U Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
10.5 The Kruskal-Wallis Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
10.6 Friedman Test for Randomized Block Designs . . . . . . . . . . . . . . . . 445
10.7 Goodness-of-Fit Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
10.7.1 The Chi-Square Goodness-of-Fit Test . . . . . . . . . . . . . . . . 450
10.7.2 Kolmogorov-Smirnov Goodness-of-Fit Test . . . . . . . . . . . . . 456
10.7.3 Shapiro-Wilk Normality Test . . . . . . . . . . . . . . . . . . . . . 463
10.8 Categorical Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
10.8.1 Test of Independence . . . . . . . . . . . . . . . . . . . . . . . . . 466
10.8.2 Test of Homogeneity . . . . . . . . . . . . . . . . . . . . . . . . . . 468
10.9 Nonparametric Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . 471
10.9.1 Bootstrap Paradigm . . . . . . . . . . . . . . . . . . . . . . . . . . 471
10.9.2 Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . 474
10.10 Permutation Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
10.11 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486
11 Experimental Design 493
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
11.2 Fixed EffectsModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498
11.3 Analysis of Variance (ANOVA) for the One-Way Fixed Effects Model . . 499
11.4 Power and the Non-central F Distribution . . . . . . . . . . . . . . . . . . 503
11.5 Checking Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512
11.5.1 Checking for Independence of Errors . . . . . . . . . . . . . . . . . 512
11.5.2 Checking for Normality of Errors . . . . . . . . . . . . . . . . . . . 514
11.5.3 Checking for Constant Variance . . . . . . . . . . . . . . . . . . . 515
11.6 Fixing Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515
11.6.1 Non-normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
11.6.2 Nonconstant Variance . . . . . . . . . . . . . . . . . . . . . . . . . 518
11.7 Multiple Comparison ofMeans . . . . . . . . . . . . . . . . . . . . . . . . 520
11.7.1 Fisher¿s Least Significant Difference . . . . . . . . . . . . . . . . . 521
11.7.2 The Tukey¿s Honestly Significant Difference . . . . . . . . . . . . . 522
11.7.3 Displaying PairwiseComparisons . . . . . . . . . . . . . . . . . . 523
11.8 Other Comparisons among theMeans . . . . . . . . . . . . . . . . . . . . 524
11.8.1 Orthogonal Contrasts . . . . . . . . . . . . . . . . . . . . . . . . . 525
11.8.2 The Scheff´eMethod for All Constrasts . . . . . . . . . . . . . . . 530
xiii
11.9 Summary of Comparisons ofMeans . . . . . . . . . . . . . . . . . . . . . . 531
11.10 Random Effects Model (Variance Components Model) . . . . . . . . . . . 536
11.11 Randomized Complete BlockDesign . . . . . . . . . . . . . . . . . . . . . 538
11.12 Two Factor Factorial Design . . . . . . . . . . . . . . . . . . . . . . . . . 549
11.13 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
12 Regression 567
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 567
12.2 Simple Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
12.3 Multiple Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . 569
12.4 Ordinary Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570
12.5 Properties of the Fitted Regression line . . . . . . . . . . . . . . . . . . . 573
12.6 UsingMatrix Notation with Ordinary Least Squares . . . . . . . . . . . . 575
12.7 TheMethod ofMaximumLikelihood . . . . . . . . . . . . . . . . . . . . . 579
12.8 The Sampling Distribution of ¿ ß . . . . . . . . . . . . . . . . . . . . . . . . 580
12.9 ANOVA Approach to Regression . . . . . . . . . . . . . . . . . . . . . . . 584
12.9.1 ANOVA with Simple Linear Regression . . . . . . . . . . . . . . . 585
12.9.2 ANOVA with Multiple Linear Regression . . . . . . . . . . . . . . 588
12.9.3 Coefficient of Determination . . . . . . . . . . . . . . . . . . . . . 589
12.9.4 Extra Sum of Squares . . . . . . . . . . . . . . . . . . . . . . . . . 590
12.9.4.1 Tests on a Single Parameter . . . . . . . . . . . . . . . 593
12.9.4.2 Tests on Subsets of the Regression Parameters . . . . . 594
12.10 General Linear Hypothesis . . . . . . . . . . . . . . . . . . . . . . . . . . . 596
12.11 Model Selection and Validation . . . . . . . . . . . . . . . . . . . . . . . . 600
12.11.1 Testing-Based Procedures . . . . . . . . . . . . . . . . . . . . . . . 600
12.11.1.1 Backward Elimination . . . . . . . . . . . . . . . . . . . 601
12.11.1.2 Forward Selection . . . . . . . . . . . . . . . . . . . . . 601
12.11.1.3 Stepwise Regression . . . . . . . . . . . . . . . . . . . . 601
12.11.1.4 Criterion Based Procedures . . . . . . . . . . . . . . . . 601
12.11.1.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . 610
12.11.2 Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610
12.11.2.1 Checking Error Assumptions . . . . . . . . . . . . . . . 610
12.11.2.1.1 Assessing Normality and Constant Variance 611
12.11.2.1.2 Testing Autocorrelation . . . . . . . . . . . 612
12.11.2.2 Identifying Unusual Observations . . . . . . . . . . . . . 613
12.11.2.3 High LeverageObservations . . . . . . . . . . . . . . . . 617
12.11.3 Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
12.11.3.1 Collinearity . . . . . . . . . . . . . . . . . . . . . . . . . 626
12.11.3.2 Transformations for Non-normality and Unequal Error
Variances . . . . . . . . . . . . . . . . . . . . . . . . . . 629
12.12 Interpreting a Logarithmically Transformed Model . . . . . . . . . . . . . 633
12.13 Qualitative Predictors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
12.14 Estimation of the Mean Response for New Values Xh . . . . . . . . . . . 641
12.15 Prediction and Sampling Distribution of New Observations Yh(new) . . . . 642
12.16 Simultaneous Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . 645
12.16.1 Simultaneous Confidence Intervals for Several Mean Responses ¿
Confidence Band . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646
12.16.2 Predictions of g New Observations . . . . . . . . . . . . . . . . . . 646
12.16.3 Distinguishing Pointwise Confidence Envelopes from Confidence
Bands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647
12.17 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652
xiv
A S Commands 663
B Quadratic Forms and Random Vectors and Matrices 675
B.1 Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
B.2 RandomVectors andMatrices . . . . . . . . . . . . . . . . . . . . . . . . 676
B.3 Variance of RandomVectors . . . . . . . . . . . . . . . . . . . . . . . . . 676
References 679
Index 686

Library of Congress Subject Headings for this publication:

Probabilities -- Data processing.
Statistics -- Data processing.
R (Computer program language).