R语言 random forests out-of-bag prediction
out-of-bag prediction
Created: Jun 29, 2020 12:22 PM
Updated: Jun 29, 2020 12:28 PM
https://stackoverflow.com/questions/25153276/difference-of-prediction-results-in-random-forest-model
用R语言算random forests的时候发现，训练数据的model$predictions不等于predict(model, train_data)
这其实是一个与out-of-bag有关的合理设计。model$predictions给出的训练数据的预测值，是out-of-bag predictions，也就是对于每个point，进行预测的时候包含这个point的tree会被排除在外！random forests中每个tree训练的时候只用于2/3的数据，所以进行out-of-bag预测的时候，只会用到random forests中1/3的tree进行预测。
因此，下面的结果是不同的：
predict(model)
predict(model, newdata=dat)
第一种情况下，默认使用out-of-bag predictions。第二种数据下，由于提供了newdata（虽然是训练数据本身），dat会被当成测试数据，而不再是训练数据，因此进行的完整的预测，而不是只用1/3的tree进行预测的out-of-bag predictions
