Table of contents for Handbook of regression and modeling : applications for the clinical and pharmaceutical industries / Daryl S. Paulson.

Bibliographic record and links to related information available from the Library of Congress catalog.

Note: Contents data are machine generated based on pre-publication provided by the publisher. Contents may have variations from the printed book or be incomplete or contain other coding.


Counter
 
Chapter 1 Basic Statistical Concepts. . . . . . . . . . . . . . . . . . . . . . . . . . 1
Meaning of Standard Deviation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Upper-Tail Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Lower-Tail Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Two-Tail Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Applied Research and Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Experimental Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Empirical Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Biases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
A. Openness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
B. Discernment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
C. Understanding (Verstehen) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
The Experimental Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Other Difficulties in Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Experimental Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Confusing Correlation with Causation . . . . . . . . . . . . . . . . . . . . . . . . . 20
Complex Study Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Basic Tools in Experimental Design. . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Statistical Method Selection: Overview . . . . . . . . . . . . . . . . . . . . . . . . 23
Chapter 2 Simple Linear Regression. . . . . . . . . . . . . . . . . . . . . . . . . 25
General Principles of Regression Analysis . . . . . . . . . . . . . . . . . . . . . . 26
Regression and Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Meaning of Regression Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Data for Regression Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Regression Parameter Calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Properties of the Least-Squares Estimation . . . . . . . . . . . . . . . . . . . . . . 31
Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Estimation of the Error Term . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Regression Inferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Computer Output. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Confidence Interval for b1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Inferences with b0. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Power of the Tests for b0 and b1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Estimating
^y via Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . 49
Confidence Interval of
^y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Prediction of a Specific Observation. . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Confidence Interval for the Entire Regression Model . . . . . . . . . . . . . . 54
ANOVA and Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Linear Model Evaluation of Fit of the Model . . . . . . . . . . . . . . . . . . . . 62
Reduced Error Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Exploratory Data Analysis and Regression . . . . . . . . . . . . . . . . . . . . . . 71
Pattern A. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Pattern B. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Pattern C. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Pattern D. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Data that cannot be Linearized by Reexpression . . . . . . . . . . . . . . . . 73
Exploratory Data Analysis to Determine the Linearity of a Regression Line
Without Using the Fc test for Lack-of-Fit . . . . . . . . . . . . . . . . . . . . . . . 73
Correlation Coefficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Correlation Coefficient Hypothesis Testing. . . . . . . . . . . . . . . . . . . . . . 79
Confidence Interval for the Correlation Coefficient . . . . . . . . . . . . . . . . 81
Prediction of a Specific x Value from a y Value . . . . . . . . . . . . . . . . . . 83
Predicting an Average ^x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
D Value Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Simultaneous Mean Inference of b0 and b1 . . . . . . . . . . . . . . . . . . . . . 87
Simultaneous Multiple Mean Estimates of Y . . . . . . . . . . . . . . . . . . . . . 89
Special Problems in Simple Linear Regression . . . . . . . . . . . . . . . . . . . 91
Piecewise Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Comparison of Multiple Simple Linear
Regression Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Evaluating Two Slopes (b1a and b1b) for
Equivalence in Slope Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Evaluating the Two Y Intercepts (b0) for Equivalence. . . . . . . . . . . . . 102
Multiple Regression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
More Difficult to Understand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Cost-Benefit Ratio Low . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Poorly Thought-Out Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 AQ5
Chapter 3 Special Problems in Simple Linear Regression: Serial
Correlation and Curve Fitting . . . . . . . . . . . . . . . . . . . . . 107
Autocorrelation or Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . 107
Durbin¿Watson Test for Serial Correlation . . . . . . . . . . . . . . . . . . . 109
Two-Tail Durbin¿Watson Test Procedure . . . . . . . . . . . . . . . . . . . . 119
Simplified Durbin¿Watson Test . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
Alternate Runs Test in Time Series. . . . . . . . . . . . . . . . . . . . . . . . . 120
Measures to Remedy Serial Correlation Problems . . . . . . . . . . . . . . 123
Transformation Procedure (When Adding More Predictor
xi Values is not an Option) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Cochrane¿Orcutt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
1 Lag 1 or First Difference Procedure . . . . . . . . . . . . . . . . . . . . . 133
Curve Fitting with Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . 136
Remedy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Standardized Residuals. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Chapter 4 Multiple Linear Regression. . . . . . . . . . . . . . . . . . . . . . . 153
Regression Coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
Multiple Regression Assumptions. . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
General Regression Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Hypothesis Testing for Multiple Regression . . . . . . . . . . . . . . . . . . 159
Overall Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Partial F-Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
Alternative to SSR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
The t-test for the Determination of the bi Contribution . . . . . . . . 166
Multiple Partial F-Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Forward Selection: Predictor Variables Added into the Model . . . . . 173
Backward Elimination: Predictors Removed from the Model . . . . . . 182
Discussion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Y Estimate Point and Interval: Mean. . . . . . . . . . . . . . . . . . . . . . . . 192
Confidence Interval Estimation of the bis . . . . . . . . . . . . . . . . . . . . 196
Predicting One or Several New Observations . . . . . . . . . . . . . . . . . 200
New Mean Vector Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
Predicting ¿ New Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
Entire Regression Surface Confidence Region. . . . . . . . . . . . . . . . . 203
Chapter 5 Correlation Analysis in Multiple Regression . . . . . . . . . . 205
Chapter 6 Some Important Issues in Multiple Linear Regression . . . 213
Collinearity and Multiple Collinearity . . . . . . . . . . . . . . . . . . . . . . . . 213
Measuring Multiple Collinearity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
Eigen (l) Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
Condition Index. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
Condition Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
Variance Proportion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Statistical Methods to Offset Serious Collinearity . . . . . . . . . . . . . . . . 222
Rescaling the Data for Regression . . . . . . . . . . . . . . . . . . . . . . . . . 222
Ridge Regression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Ridge Regression Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
Final Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240 AQ7
Chapter 7 Polynomial Regression. . . . . . . . . . . . . . . . . . . . . . . . . . 241
Other Points to Consider . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
Lack of Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
Splines (Piecewise Polynomial Regression) . . . . . . . . . . . . . . . . . . . . 261
Spline Example Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
Linear Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
Chapter 8 Special Topics in Multiple Regression . . . . . . . . . . . . . . 277
Interaction between the xi Predictor Variables. . . . . . . . . . . . . . . . . . . 277
Confounding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Unequal Error Variances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Residual Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
Modified Levene Test for Constant Variance . . . . . . . . . . . . . . . . . . . 285
Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
Breusch¿Pagan Test: Error Constancy . . . . . . . . . . . . . . . . . . . . . . . . 293
For Multiple xi Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
Variance Stabilization Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
Weighted Least Squares. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
Estimation of the Weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Residuals and Outliers, Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
Standardized Residuals. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
Studentized Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
The Jackknife Residual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
To Determine Outliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
Outlier Identification Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
Leverage Value Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
Cook¿s Distance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
Leverages and Cook¿s Distance . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
Leverage and Influence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
Leverage: Hat Matrix (x Values) . . . . . . . . . . . . . . . . . . . . . . . . . . 327
Influence: Cooks Distance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
Outlying Response Variable Observations, yi . . . . . . . . . . . . . . . . . 335
Studentized Deleted Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
Influence: Beta Influence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Chapter 9 Indicator (Dummy) Variable Regression . . . . . . . . . . . . . 343
Comparing Two Regression Functions . . . . . . . . . . . . . . . . . . . . . . . . 355
Comparing the y-Intercepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
Test of B1s or Slopes: Parallelism . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
Parallel Slope Test Using Indicator Variables . . . . . . . . . . . . . . . . . . . 366
Intercept Test Using an Indicator Variable Model . . . . . . . . . . . . . . . . 369
Parallel Slope Test Using A Single
Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
Test for Coincidence Using A Single Regression Model . . . . . . . . . . . 375
Larger Variable Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
More Complex Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
Global Test for Coincidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Global Parallelism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
Global Intercept Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
Confidence Intervals for Bi Values . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
Piecewise Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
More Complex Piecewise Regression Analysis . . . . . . . . . . . . . . . . . . 393
Discontinuous Piecewise Regression . . . . . . . . . . . . . . . . . . . . . . . . . 403
Chapter 10 Model Building and Model Selection . . . . . . . . . . . . . . 411
Predictor Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
Measurement Collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
Selection of the xi Predictor Variables . . . . . . . . . . . . . . . . . . . . . . . . 412
Adequacy of the Model Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
Stepwise Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
Forward Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
Backward Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
Best Subset Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
ADJ R2k
AND MSEk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
Mallow¿s Ck Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
Other Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
Chapter 11 Analysis of Covariance. . . . . . . . . . . . . . . . . . . . . . . . . 425
Single-Factor Covariance Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
Some Further Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
Requirements of ANCOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
ANCOVA Routine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
Regression Routine Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
Treatment Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
Test Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
Single Interval Estimate. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
Bonferroni Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
Adjusted Average Response. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
Appendix I
Tables. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
Appendix II
Matrix Algebra Applied To Regression . . . . . . . . . . . . . . . . . . . . . . . 483
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 000

Library of Congress Subject Headings for this publication:

Medicine -- Research -- Statistical methods -- Handbooks, manuals, etc.
Regression analysis -- Handbooks, manuals, etc.
Drugs -- Research -- Statistical methods -- Handbooks, manuals, etc.
Clinical trials -- Statistical methods -- Handbooks, manuals, etc.
Clinical Medicine.
Regression Analysis.
Biometry -- methods.
Drug Industry.
Models, Statistical.