朝闻道，夕死可矣。

摘要： 在做数据处理时，需要用到不同的手法，如特征标准化，主成分分析，等等会重复用到某些参数，sklearn中提供了管道，可以一次性的解决该问题 先展示先通常的做法 先对数据标准化，然后做主成分分析降维，最后做回归预测 现在使用管道 Pipeline对象接收元组构成的列表作为输入，每个元组第一个值作为变量名 阅读全文

摘要： 关于偏差、方差以及学习曲线为代表的诊断法： 在评估假设函数时，我们习惯将整个样本按照6:2:2的比例分割：60%训练集training set、20%交叉验证集cross validation set、20%测试集test set，分别用于拟合假设函数、模型选择和预测。 模型选择的方法为： 1. 使 阅读全文

摘要： 特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。后面还有两篇会关注于特征表达和特征预处理。 1. 特征的来源 在做数据分析的时候，特征的来源一般有两块，一块是业 阅读全文

摘要： linestyle可选参数： marker可选参数： matplotlib中color可用的颜色： 阅读全文

摘要： I noticed that that 'r2_score' and 'explained_variance_score' are both build-in sklearn.metrics methods for regression problems. I was always under th 阅读全文

摘要： 1 # coding: utf-8 2 3 ''' 4 第13章主要介绍：颜色空间转换 5 ''' 6 7 import cv2 8 import numpy as np 9 10 ''' 11 经常用到的颜色空间转换是: BGRGray 和 BGRHSV 12 cv2.cvtColor(input_image , flag),flag是转换类型：cv2.COLOR... 阅读全文

摘要： 数据挖掘是利用业务知识从数据中发现和解释知识的过程，这种知识是以自然或者人工形式创造的新知识。 第一，目标律：业务目标是所有数据解决方案的源头。 它定义了数据挖掘的主题：数据挖掘关注解决业务业问题和实现业务目标。数据挖掘主要不是一种技术，而是一个过程，业务目标是它的的核心。 没有业务目标，没有数据挖 阅读全文

摘要： 数据分析作用 在商业领域中，进行数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出所研究对象的内在规律，帮助管理者进行有效的判断和决策。数据分析在企业日常经营分析中主要有三大作用： 数据分析基本步骤 明确分析目的和思路：比如用户行为理论用户行为轨迹 》》 用户的网站行为 阅读全文

摘要： 集体智慧和协同过滤 什么是集体智慧 集体智慧 (Collective Intelligence) 并不是 Web2.0 时代特有的，只是在 Web2.0 时代，大家在 Web 应用中利用集体智慧构建更加有趣的应用或者得到更好的用户体验。集体智慧是指在大量的人群的行为和数据中收集答案，帮助你对整个人群 阅读全文

摘要： “探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制，实现方法，其中还涉及一些基本的优化方法，例如聚类和分类的应用。同时在理论讲解的基础上，还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐策略，进行策略优化，构建高效的推荐引擎的方法。本文作为这个系列的第一 阅读全文