随笔分类 - Spark
摘要:外网访问局域网web项目服务器(本机springBoot模拟服务器)需要进行端口映射。 这里选用 nat123端口映射,具体安装这里不赘述了,配置如图: 配置websocket时也要修改websocket地址信息,此处采用HTML5: 如果还是在局域网内打开链接端口地址,会报错: 通过调试发现 we
阅读全文
摘要:网上包括很多API 的参考文档都是根据摄像机和鼠标操控来测试碰撞效果的,利用了 raycaster.setFromCamera( ) 函数 但是,如果物体运动的过程中,并不涉及鼠标的操作,利用键盘控制物体的运动,模拟物体自主运行。需要直接调用 raycaster.set(from, toVecNor
阅读全文
摘要:当已经利用Spark往Redis写入数据,这部分需自行查看资料,比较简单: // 调用 sparkContext 实例化进行计算 val sc: SparkContext = { val sparkConf = new SparkConf() .setAppName(this.getClass.ge
阅读全文
摘要:在上spark的时候,一开始需要虚拟机模拟真实环境,而spark主要的三种模式:local、standalone、yarn 均可以通过虚拟机模拟。 这里要讨论的是业务逻辑如何和 spark 结合,具体技术细节可自行查阅资料。 抛开技术层面,spark 针对的是,数据集的并行操作或者计算逻辑的并行操作
阅读全文
摘要:在 Java 里,null 是一个关键字,不是一个对象,所以对它调用任何方法都是非法的。 Scala 的 Option类型 Scala在变量和函数返回值可能不会引用任何值的时候使用 Option 类型。在没有值的时候,使用 None,这是 Option 的一个子类。如果有值可以引用,就使用 Some
阅读全文
摘要:打开 cmd 输入 spark-shell 虽然可以正常出现 spark 的标志符,但是报错:java.io.IOException: Could not locate executable E:\hadoop-2.7.7\bin\winutils.exe in the Hadoop binarie
阅读全文
摘要:本内容源自慕课网: 组件: spark streaming mlib grapx clustere manager 紧密集成: 易于优化
阅读全文