机器学习中数据收集与存储

数据来源：

           用户访问行为数据

           业务数据

           外部第三方数据

数据存储：

            需要存储的数据：原始数据、预处理后数据、模型结果

            存储设备：mysql、HDFS、HBase、Kafka、Redis等

数据收集方式：

             Flume & Kafka

 

机器学习可用公开数据库：

                      在实际工作中，我们可以使用业务数据进行机器学习开发，但是在学习过程中，
                       没有业务数据，此时可以使用公开的数据集进行开发，常用数据集如下：
                        • http://archive.ics.uci.edu/ml/datasets.html
                        • https://aws.amazon.com/cn/public-datasets/
                        • https://www.kaggle.com/competitions
                         • http://www.kdnuggets.com/datasets/index.html
                         • http://www.sogou.com/labs/resource/list_pingce.php
                         • https://tianchi.aliyun.com/datalab/index.htm
                         • http://www.pkbigdata.com/common/cmptIndex.html