关于value_count

value_counts将会对于指定列的数据进行group，然后统计出各个出现的值的数量，并且按照从高到低的顺序进行排序

train_data = load_titanic_data("train.csv")
train_data["Pclass"].value_counts()

输出：

3 491 
1 216 
2 184 
Name: Pclass, dtype: int64

代表Pclass这个字段共有三种值：1，2，3；出现的次数分别为216,184以及491，上面的列表就是按照出现“值”的数量从高到低排列以及数量进行排列；

原则即使：在对于NaN值处理常规的一种方案就是对于数字型取“中位数”，对于Category的（文字型）填充则取出现频率最高的；下面就是实现对于文字型填充Null值；

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import Imputer

num_pipeline = Pipeline([
        ("select_numeric", DataFrameSelector(["Age", "SibSp", "Parch", "Fare"])),
        ("imputer", Imputer(strategy="median")),
    ])

class MostFrequentImputer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        self.most_frequent_ = pd.Series([X[c].value_counts().index[0] for c in X],
                                        index=X.columns)
        return self
    def transform(self, X, y=None):
        return X.fillna(self.most_frequent_)

from future_encoders import OneHotEncoder
cat_pipeline = Pipeline([
        ("select_cat", DataFrameSelector(["Pclass", "Sex", "Embarked"])),
        ("imputer", MostFrequentImputer()),
        ("cat_encoder", OneHotEncoder(sparse=False)),
    ])

cat_pipeline.fit_transform(train_data)

 

 参考：

https://stackoverflow.com/questions/25239958/impute-categorical-missing-values-in-scikit-learn