摘要：spark的sparkUI如何解读？ 以spark2.1.4来做例子 Job schedule mode 进入之后默认是进入spark job 页面 这个说明有很详细的解释，spark有两种操作算子：转换算子（transformation）和执行算子（Action）。当执行到行为算子的时候，就出发了 阅读全文
工作随笔-20171024
2017-10-25 10:10 by 轩脉刃, 304 阅读, 0 推荐, 收藏, 编辑
摘要：appName(s"Crossroadfree") 这个是个什么语法？ 这个是字符串插值用法，从scala2.10.0版本开始，在s""的里面可以使用\$val来嵌入变量。 相类似的插值还有f 和raw https://docs.scala lang.org/zh cn/overviews/core 阅读全文
如何升级laravel5.4到laravel5.5并使用新特性？
2017-10-23 23:50 by 轩脉刃, 6161 阅读, 1 推荐, 收藏, 编辑
摘要：如何升级laravel5.4到laravel5.5并使用新特性？ 修改composer.json: scripts增加： 执行composer update vvv 新特性1: 扩展包自动发现 为扩展包增加了一个自动发现功能。 以barryvdh/laravel debugbar为例，先删除这个包。 阅读全文
value toDF is not a member of org.apache.spark.rdd.RDD
2017-10-23 23:03 by 轩脉刃, 5129 阅读, 0 推荐, 收藏, 编辑
摘要：idea显示toDF() 没有这个函数，显示错误: Error:(82, 8) value toDF is not a member of org.apache.spark.rdd.RDD[com.didichuxing.scala.BaseIndex] possible cause: maybe 阅读全文
spark能传递外部命名参数给main函数吗？
2017-10-23 23:02 by 轩脉刃, 4146 阅读, 0 推荐, 收藏, 编辑
摘要：查了资料好像都没有办法。只能通过： 下标来获取。不过不确定，去stackoverflow发帖问下。 确实不能，如果要的话，就需要自己写代码来解析： 阅读全文
spark在idea中本地如何运行？（处理问题NoSuchFieldException: SHUTDOWN_HOOK_PRIORITY）
2017-10-20 15:49 by 轩脉刃, 1918 阅读, 0 推荐, 收藏, 编辑
摘要：spark在idea中本地如何运行？ 前几天尝试使用idea在本地运行spark+scala的程序，出现了问题，http://www.cnblogs.com/yjf512/p/7662105.html 当时还以为是本地spark安装问题，今天发现原来不是。记录如下： 现象 使用pom写了一个程序，发 阅读全文
工作随笔－20171012
2017-10-13 17:08 by 轩脉刃, 636 阅读, 0 推荐, 收藏, 编辑
摘要：scala在idea中本地运行遇到问题： 查看这个帖子： https://forums.databricks.com/questions/2227/shutdown hook priority javalangnosuchfieldexceptio.html 貌似说的是运行在老版本的spark上 我 阅读全文
maven使用实战
2017-08-31 14:14 by 轩脉刃, 938 阅读, 1 推荐, 收藏, 编辑
摘要：maven使用实战 创建项目 在eclipse中创建maven项目之后，会生成.classpath / .setting / .project 三个文件或者文件夹 .classpath 这个文件是用来说明这个工程的项目环境的 比如 kind=src: 用来表示源文件地址 kind=con: 表示运行 阅读全文
介绍maven构建的生命周期
2017-08-29 18:25 by 轩脉刃, 2489 阅读, 1 推荐, 收藏, 编辑
摘要：介绍maven构建的生命周期 这篇是 https://maven.apache.org/guides/introduction/introduction to the lifecycle.html 的译文。 构建生命周期的基础知识 构建的生命周期是maven的最核心概念。它的意思就是构建和发布某个特 阅读全文
python中的pip
2017-08-24 12:12 by 轩脉刃, 1675 阅读, 0 推荐, 收藏, 编辑
摘要：python中的pip python有两个著名的包管理工具，其中，pip是一个。它对python的包进行管理和升级等操作。 问题一：pip本地的模块安装在哪里？ 使用pip install numpy安装numpy，再安装一次，pip install numpy，就可以查看到本地的pip包安装地址了 阅读全文