数据的特征抽取

机器学习库scikit-learn，进行特征抽取

 

特征工程：

特征工程是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的模型准确性

 

特征工程意义：

直接影响模型的预测结果

 

字典特征抽取：

 

from sklearn.feature_extraction import DictVectorizer



def dict_vec():
    """
    字典数据，特征抽取
    :return: None
    """
    # 实例化
    d = DictVectorizer(sparse=False)  # 有无sparse参数返回的数据类型不一样
    # 调用 fit_transform
    data = d.fit_transform([{'city': '北京', 'temperature': 100}, {'city': '上海', 'temperature': 60}, {'city': '深圳', 'temperature': 80}])
    print(d.get_feature_names())
    print(data)
    return None

# 字典数据抽取：把字典中一些类别数据，分别进行转换成特征
if __name__ == '__main__':
    dict_vec()

输出结果：

　　['city=上海', 'city=北京', 'city=深圳', 'temperature']
　　[[ 0. 1. 0. 100.]
　　[ 1. 0. 0. 60.]
　　[ 0. 0. 1. 80.]]

 文本特征抽取：

 

from sklearn.feature_extraction.text import CountVectorizer


def count_vec():
    # 对文本进行特征值化
    cv = CountVectorizer()
    data = cv.fit_transform(['life is short, I like python is', 'life is too long, dislike python'])
    # print(data)
    print(cv.get_feature_names())
    print(data.toarray())  #统计个数，单个字母不统计
    # 中文的话要用到jieba分词

中文文本特征抽取：

from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
import jieba


def cn_vec():
    # 中文特征值化
    c1, c2, c3 = cutword()
    cv = CountVectorizer()
    data = cv.fit_transform([c1, c2, c3])
    print(cv.get_feature_names())
    print(data.toarray())

def cutword():
    # 中文分词
    c1 = jieba.cut('今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。')
    c2 = jieba.cut('我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。')
    c3 = jieba.cut('如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系')
    content1 = list(c1)  # 转化为列表
    content2 = list(c2)
    content3 = list(c3)
    # 把列表转化为字符串
    content1 = ' '.join(content1)
    content2 = ' '.join(content2)
    content3 = ' '.join(content3)
    return content1, content2, content3

TF-IDF判断词语的重要性：

 

 

　分类机器学习算法的重要依据！

 

 

 

 

from sklearn.feature_extraction.text import TfidfVectorizer


def tfidf_vec():
    # tfidf 得出词的重要性
    c1, c2, c3 = cutword()
    tf = TfidfVectorizer()
    data = tf.fit_transform([c1, c2, c3])
    print(tf.get_feature_names())
    print(data.toarray())