ZacksTang

摘要： Kylin 上手 根据Kylin 官方给出的测试数据，我们实际操作一下 Kylin。 1. 导入 Hive 数据 首先创建一个project，在界面左上角有个“Add Project” 按钮，这里我们创建的Project名为tuto。 进入Model 界面，从 Hive 中导入两张表：kylin_s 阅读全文

摘要： EMR上搭建kylin 1. 启动EMR集群 根据官网说明： http://kylin.apache.org/docs21/install/kylin_aws_emr.html 启动EMR时，若是 hbase 数据存储在 s3 ，则需指定以下配置： [ { "Classification": "hb 阅读全文

摘要： 1. 传统大数据分析的问题 在基于Hadoop 生态的传统大数据分析中，主要使用的技术是MPP（Massively Parallel Processing）大规模并行处理和列式存储。MPP使用线性增加计算资源换取计算时间的线性下降，列式存储可以提高读取数据的速率。两者结合可以使得基于 Hadoop 阅读全文

摘要： 数据湖 数据湖的产生是为了存储各种各样原始数据的大型仓库。这些数据根据需求，进行存取、处理、分析等。对于存储部分来说，开源版本常见的就是 hdfs。而各大云厂商也提供了各自的存储服务，如 Amazon S3，Azure Blob 等。 而由于数据湖中存储的数据全部为原始数据，一般需要对数据做ETL（ 阅读全文

摘要： LLE 局部线性嵌入，Locally Linear Embedding（LLE）是另一个功能强大的非线性降维（nonlinear dimensional reduction，NLDR）技术。它是一个流形学习技术，并不基于投影。简单地说，LLE工作的方式是：首先衡量每个训练实例与它最近的邻居们（clo 阅读全文

摘要： PCA 主成成分分析（Principal Component Analysis，PCA）在目前是非常热门的降维算法。首先它找到一个最接近数据的超平面，然后将数据投影到这个平面上。 保持方差（Preserving the Variance） 在将训练集投影到一个低维超平面之前，我们首先要选择正确的超平 阅读全文

摘要： 降维 在很多机器学习问题中，训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维度灾难。 不过值得庆幸的是，在实际问题中，经常可以极大地减少特征的数目，将棘手的问题转变为容易处理的问题。例如，以M 阅读全文

摘要： Boosting Boosting（原先称为hypothesis boosting），指的是能够将多个弱学习器结合在一起的任何集成方法。对于大部分boosting方法来说，它们常规的做法是：按顺序训练模型，每个模型都会尝试修正它的前一个模型。Booting 方法有很多种，不过到现在为止最热门的是Ad 阅读全文

摘要： 随机森林与随机子空间 BaggingClassifier类也支持对特征采样，这种采样由两个超参数控制：max_features 与 bootstrap_features，他们的工作方式与max_samples 与 bootstrap一样，只是他们采样的是特征。这样，每个模型将会在一个随机的输入特征子 阅读全文

摘要： Kaggle题目 nu-cs6220-assignment-1 题目地址如下： https://www.kaggle.com/c/nu-cs6220-assignment-1/overview 这是个二分类任务，需要预测一个人的收入，分为两类：收入大于50K，或是小于50K。 1. 查看数据结构 下 阅读全文