摘要：
写在前面 接触spark有一段时间了，但是一直都没有真正意义上的在集群上面跑自己编写的代码。今天在本地使用scala编写一个简单的WordCount程序。然后，打包提交到集群上面跑一下... 在本地使用idea开发，由于这个程序比较简单，我这里就直接给出代码。 代码，写完之后，就是打包成一个jar文 阅读全文
摘要：
写在前面 因为前面有写过一篇关于豆瓣的top250的电影的可视化展示项目，你可以移步http://blog.csdn.net/liuge36/article/details/78607955了解这个项目。因为，想着，完全可以把这个项目部署到我们的腾讯云服务器上。说干就干，直接切入正题。 实验环境 一 阅读全文
摘要：
概述 什么是 Spark Streaming? Spark Streaming is an extension of the core Spark API that enables scalable, high throughput, fault tolerant stream processing 阅读全文
摘要：
在linux下我们一般是需要了解我们的进程的状态的. 我们以mysql为例 service mysqld status 我这里是启动状态,可以看见pid chkconfig list +你的服务 可以看见是启动的,有on状态 pidof +你的服务 可以看见pid,说明,此时,mysql服务正在运行 阅读全文
摘要：
查看当前的存储引擎 show engines; 基本的差别：MyISAM类型不支持事务处理等高级处理，而InnoDB类型支持。MyISAM类型的表强调的是性能，其执行数度比InnoDB类型更快，但是不提供事务支持，而InnoDB提供事务支持以及外部键等高级数据库功能。然后,一般我们的项目中设计的数据 阅读全文
摘要：
上面我们可以看见房屋的各种属性信息 也就是房屋的各个特征 为了更形象化的展示房屋的特征,我们使用图形来直观展现 使用,我们前面介绍的Graphlab Canvas来展现 重定向到当前页面展现 接下来,我们就来,构建回归模型 被用来去拟合模型的数据叫做训练集 那些作为真实预测的替代叫做测试集 步骤: 阅读全文
摘要：
写在前面 GraphLab Create 是一款机器学习的函数库，其中的SFrame也是十分强大的数据管理工具。它允许直接从硬盘中读取数据，免于将数据全部加载到内存中。这就使得对于大数据的处理成为可能.这也是相对于scikit learn的一个最大优点,我们知道,scikit learn是只能读取内 阅读全文
摘要：
接下来,开始构建分类器: 生成的WordCount是一个字典.键值对的形式 这里的键是某一个单词,对应的值是该单词的个数 图像化查看一下原始数据 ,这里我们取出第一个商品的评价 抽取评价数量最多的商品,这里叫做Vulli Sophie 根据评分进行分组可视化 说明,我们要构建我们的情感分类器,我们可 阅读全文
摘要：
从GraphLab Create 库里面导入一个深度学习的模型 deep_learning_model=graphlab.load_model('http://s3.amazonaws.com/GraphLab Datasets/deeplearning/imagenet_model_iter45' 阅读全文
摘要：
写在前面 Elastic Static 是指由Elasticsearch，Logstash，Kibana,Beats等组件结合起来而构成的一个数据收集，分析，可视化的一个架构.我们经常听说过的ELK就是指前面三个,它能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视 阅读全文