摘要:
1. 配置SSH无密登录 配置原理 配置SSH 2. 集群整体操作脚本(补充) #! /bin/bash for i in hadoop102 hadoop103 hadoop104 do echo $i ssh $i "source /etc/profile ; $*" done 阅读全文
摘要:
1. 购买服务器 2. 配置防火墙 3. ECS配置升级(补充的,暂时没有用到) 4. 阿里云服务器连接 5. 配置主机名称映射 6. 创建普通用户atguigu并提升权限 7. 集群分发脚本xsync #!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if 阅读全文
摘要:
技术栈 SparkStreaming:核心处理流程 Maxwell:实时采集,全量同步 Kafka:数据存储,中间处理数据,数据传输 Redis:加快数据的查询响应 ElasticSearch:数据存储和查询计算 Kibana:可视化展示 SpringBoot:发布数据接口 Git:托管 项目内容 阅读全文
摘要:
背包问题 01背包:每个物品:选、不选 完全背包:每个物品:选0,选1个,选2个,....选无穷多个 多重背包问题(每个物品:选0....选si个) 多重背包问题Ⅰ(朴素版): 点击查看代码 // 数据范围 // 0<N,V≤100 // 0<vi,wi,si≤100 #include<iostre 阅读全文
摘要:
bfs: 需要的空间太大,(把每一层都存下来) 不好剪枝 dfs: 线性空间(只存路径) 阅读全文
摘要:
导入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>2.4.6</version> </dependency> <d 阅读全文
摘要:
以后可以从这里开始复习spark 阅读全文
摘要:
原理 代码 package operator import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import java.lang.Math.random object SparkPI e 阅读全文