摘要: 1.回溯问题简介 回溯问题,就是决策树的遍历过程,回溯问题需要有下面几个问题考虑 路径:已经做出的选择,即从根节点到当前节点的路径 选择列表:当前情况下还可以做哪些选择,即继续往下遍历节点,可以走哪些路 结束条件:到达决策树的叶子节点,或者不满足条件停止 2.回溯问题框架 明白回溯问题的几个问题后, 阅读全文
posted @ 2021-01-11 23:46 Hoult丶吴邪 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 1.五个基本Properties A list of partitions A function for computing each split A list of dependencies on other RDDs Optionally, a Partitioner for key-value 阅读全文
posted @ 2021-01-11 23:42 Hoult丶吴邪 阅读(403) 评论(0) 推荐(0) 编辑
摘要: 1.背景 大数据开发的测试环境,很多人不以为然,其实重复的打包,上传,测试虽然每次时间大概也就几分钟,但是积累起了往往会花费很多的时间,但是一个完整的测试环境在生产环境下往往难形成闭环,抛开堡垒机权限不说,hadoop,hive,spark等服务端的权限也会难倒一群英雄好汉,主要是太繁琐了,测试环境 阅读全文
posted @ 2021-01-11 23:41 Hoult丶吴邪 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 立个坑,教程后续补上,当然这不是最重要的,如果你仅仅想有个环境可以测试,只需要下面 三步 1.git clone https://github.com/hulichao/docker-bigdata ` 2.安装docker和docker-compose, 然后cd docker-bigdata & 阅读全文
posted @ 2021-01-11 23:36 Hoult丶吴邪 阅读(995) 评论(0) 推荐(0) 编辑