05 2020 档案
摘要：有了Windows Terminal 你再也不需要其他任何终端了…… 下载 直接到Windows 10 自带的应用商店下载安装。参考： https://github.com/Microsoft/Terminal 配置ssh 参考： https://blog.csdn.net/u012814856/a
阅读全文
摘要："" 生产环境的 Spark Job 都是跑在集群上的，毕竟 Spark 为大数据而生，海量的数据处理必须依靠集群。但是在开发Spark的的时候，不可避免我们要在本地进行一些开发和测试工作，所以如何在本地用好Spark也十分重要，下面给大家分享一些经验。 首先你需要在本机上安装好了Java，Scal
阅读全文
摘要：什么是 Bucketing Bucketing 就是利用 buckets（按列进行分桶）来决定数据分区（partition）的一种优化技术，它可以帮助在计算中避免数据交换（avoid data shuffle）。并行计算的时候shuffle常常会耗费非常多的时间和资源. Bucketing 的基本原
阅读全文
摘要：以前用Wordpress搭建过一个博客网站，Wordpress虽然安装简单，功能强大，但是对于个人建站来说有点复杂了。最近发现用Hexo建站很流行，于是将网站从Wordpress迁移到了Hexo。 Hexo是如何工作的？ 首先，Hexo是一个搭建静态网站的工具，所以Hexo生成的文章页面都是静态页面
阅读全文
