摘要: 数据来源:https://www.kaggle.com/c/kobe-bryant-shot-selection/data 参考:https://blog.csdn.net/qq_41888542/article/details/80390900 1.导包 2.读取文件 #设置字体 mpl.rcPa 阅读全文
posted @ 2018-07-21 15:44 夕阳如火 阅读(6401) 评论(0) 推荐(0) 编辑
摘要: 使用的时候用rdd调用就可以 阅读全文
posted @ 2019-05-17 12:39 夕阳如火 阅读(643) 评论(0) 推荐(0) 编辑
摘要: 到python官网下载python3.5.7 https://www.python.org/downloads/release/python-357/ 将文件传到linux上,通过tar指令解压,重命名为python3,这样安装的话,压缩文件在哪里,解压后的文件就会在哪里。可以在python3前面加 阅读全文
posted @ 2019-04-19 14:23 夕阳如火 阅读(2327) 评论(0) 推荐(0) 编辑
摘要: 参考:https://github.com/LouisYZK/ShiXi_inWuhan/tree/master/1.23 Flex技术是网站运用flash方法与客户端进行数据通信,数据的格式可以是txt,json或amf等。 AMF是一种二进制编码方式,其在flash传输效率高,以农业信息网数据为 阅读全文
posted @ 2019-04-19 10:10 夕阳如火 阅读(2101) 评论(0) 推荐(0) 编辑
摘要: greenplum 阅读全文
posted @ 2019-04-17 11:14 夕阳如火 阅读(2678) 评论(0) 推荐(0) 编辑
摘要: greenplum简介 GreenPlum是面向数据仓库应用的关系型数据库,基于PostgreSQL开发,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客户端工具及PostgreSQL应用都能运行在GreenPlum平台上。想要学习GreenPlum,可以先看一看PostgreSQ 阅读全文
posted @ 2019-04-02 16:16 夕阳如火 阅读(40832) 评论(1) 推荐(4) 编辑
摘要: 一、版本如下 注意:Hive on Spark对版本有着严格的要求,下面的版本是经过验证的版本 a) apache-hive-2.3.2-bin.tar.gz b) hadoop-2.7.2.tar.gz c) jdk-8u144-linux-x64.tar.gz d) mysql-5.7.19-1 阅读全文
posted @ 2018-10-26 11:15 夕阳如火 阅读(3456) 评论(1) 推荐(0) 编辑
摘要: Flume 1. 前言 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过 阅读全文
posted @ 2018-10-26 11:05 夕阳如火 阅读(388) 评论(0) 推荐(0) 编辑
摘要: (一)什么是Redis? Redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。与Memcached一样,为了保证效 阅读全文
posted @ 2018-10-26 10:00 夕阳如火 阅读(8824) 评论(0) 推荐(0) 编辑
摘要: 1. Kafka 概述 1.1什么是 Kafka Apache Kafka 是分布式发布-订阅消息系统(消息中间件)。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka 是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 简单说明什么是Ka 阅读全文
posted @ 2018-10-25 15:23 夕阳如火 阅读(3594) 评论(0) 推荐(0) 编辑
摘要: Spark Streaming实时数据流处理 一、Spark Streaming基础 1、Spark Streaming简介http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Streaming是核心S 阅读全文
posted @ 2018-10-25 14:23 夕阳如火 阅读(954) 评论(0) 推荐(1) 编辑