摘要: 1. 1 基础环境 1.1.1 关闭selinux 查看状态:/usr/sbin/sestatus disabled vim /etc/selinux/config 重启 reboot 1.1.2 关闭防火墙 查看防火墙规则 firewall cmd list all 查询端口是否开放 firewa 阅读全文
posted @ 2019-02-13 14:40 架构师老狼 阅读(171) 评论(0) 推荐(0) 编辑
摘要: springBoot出现是soa开发模式的一次革命,把javaer从xml配置中解放出来,这也是微服务流行起来的重要原因,使分布式成为主流。同时无缝连接springcloud提供服务治理、服务网关、配置热启动刷新、断路由、服务监听等,接下来记录曾经的点点滴滴!... 阅读全文
posted @ 2017-10-22 11:46 架构师老狼 阅读(466) 评论(0) 推荐(0) 编辑
摘要: sparkSql两个最重要的类SqlContext、DataFrame,DataFrame功能强大,能够与rdd互转换、支持sql操作如sql().where.order.join.groupBy.limit等。 SparkSql的查询响应性能是hive的几何级倍数,并且SparkSql支持多种数据源操作包括hive、hdfs、rdd、json、mysql,本文先讲解hive、hdfs、rdd、json4种数据源操作... 阅读全文
posted @ 2017-10-22 11:42 架构师老狼 阅读(1562) 评论(0) 推荐(0) 编辑
摘要: 15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
posted @ 2017-10-22 11:40 架构师老狼 阅读(4454) 评论(1) 推荐(0) 编辑
摘要: 15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
posted @ 2017-10-22 11:33 架构师老狼 阅读(364) 评论(0) 推荐(0) 编辑
摘要: 15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
posted @ 2017-10-22 11:30 架构师老狼 阅读(656) 评论(0) 推荐(0) 编辑
摘要: 15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
posted @ 2017-10-22 11:26 架构师老狼 阅读(622) 评论(0) 推荐(0) 编辑
摘要: 15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
posted @ 2017-10-22 11:22 架构师老狼 阅读(3187) 评论(0) 推荐(0) 编辑
摘要: 思路:来源于某家装互联网公司,c端下订单,订单派单中心的职责把订单按派单算法分配给b端。... 阅读全文
posted @ 2017-10-22 11:18 架构师老狼 阅读(1377) 评论(0) 推荐(0) 编辑
摘要: 远程录制两段视频,通过ffmpeg合成画中画效果(类似微信) 阅读全文
posted @ 2017-10-22 11:13 架构师老狼 阅读(4987) 评论(1) 推荐(0) 编辑