摘要:
1. 1 基础环境 1.1.1 关闭selinux 查看状态:/usr/sbin/sestatus disabled vim /etc/selinux/config 重启 reboot 1.1.2 关闭防火墙 查看防火墙规则 firewall cmd list all 查询端口是否开放 firewa 阅读全文
摘要:
springBoot出现是soa开发模式的一次革命,把javaer从xml配置中解放出来,这也是微服务流行起来的重要原因,使分布式成为主流。同时无缝连接springcloud提供服务治理、服务网关、配置热启动刷新、断路由、服务监听等,接下来记录曾经的点点滴滴!... 阅读全文
摘要:
sparkSql两个最重要的类SqlContext、DataFrame,DataFrame功能强大,能够与rdd互转换、支持sql操作如sql().where.order.join.groupBy.limit等。 SparkSql的查询响应性能是hive的几何级倍数,并且SparkSql支持多种数据源操作包括hive、hdfs、rdd、json、mysql,本文先讲解hive、hdfs、rdd、json4种数据源操作... 阅读全文
摘要:
15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
摘要:
15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
摘要:
15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
摘要:
15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
摘要:
15年项目使用spark+hadoop,最近公司分享给小伙伴们,就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列,有些数据是网上搜索下载的,同时整理时也参考其他博文以及《spark实战》... 阅读全文
摘要:
思路:来源于某家装互联网公司,c端下订单,订单派单中心的职责把订单按派单算法分配给b端。... 阅读全文
摘要:
远程录制两段视频,通过ffmpeg合成画中画效果(类似微信) 阅读全文