随笔分类 -  Spark

摘要:外网访问局域网web项目服务器(本机springBoot模拟服务器)需要进行端口映射。 这里选用 nat123端口映射,具体安装这里不赘述了,配置如图: 配置websocket时也要修改websocket地址信息,此处采用HTML5: 如果还是在局域网内打开链接端口地址,会报错: 通过调试发现 we 阅读全文
posted @ 2021-09-29 13:52 谦曰盛 阅读(1894) 评论(0) 推荐(0) 编辑
摘要:网上包括很多API 的参考文档都是根据摄像机和鼠标操控来测试碰撞效果的,利用了 raycaster.setFromCamera( ) 函数 但是,如果物体运动的过程中,并不涉及鼠标的操作,利用键盘控制物体的运动,模拟物体自主运行。需要直接调用 raycaster.set(from, toVecNor 阅读全文
posted @ 2021-08-19 16:49 谦曰盛 阅读(615) 评论(0) 推荐(0) 编辑
摘要:当已经利用Spark往Redis写入数据,这部分需自行查看资料,比较简单: // 调用 sparkContext 实例化进行计算 val sc: SparkContext = { val sparkConf = new SparkConf() .setAppName(this.getClass.ge 阅读全文
posted @ 2021-08-03 12:12 谦曰盛 阅读(9001) 评论(0) 推荐(0) 编辑
摘要:在上spark的时候,一开始需要虚拟机模拟真实环境,而spark主要的三种模式:local、standalone、yarn 均可以通过虚拟机模拟。 这里要讨论的是业务逻辑如何和 spark 结合,具体技术细节可自行查阅资料。 抛开技术层面,spark 针对的是,数据集的并行操作或者计算逻辑的并行操作 阅读全文
posted @ 2021-05-21 10:35 谦曰盛 阅读(86) 评论(0) 推荐(0) 编辑
摘要:在 Java 里,null 是一个关键字,不是一个对象,所以对它调用任何方法都是非法的。 Scala 的 Option类型 Scala在变量和函数返回值可能不会引用任何值的时候使用 Option 类型。在没有值的时候,使用 None,这是 Option 的一个子类。如果有值可以引用,就使用 Some 阅读全文
posted @ 2021-05-08 10:09 谦曰盛 阅读(282) 评论(0) 推荐(0) 编辑
摘要:打开 cmd 输入 spark-shell 虽然可以正常出现 spark 的标志符,但是报错:java.io.IOException: Could not locate executable E:\hadoop-2.7.7\bin\winutils.exe in the Hadoop binarie 阅读全文
posted @ 2021-03-18 11:21 谦曰盛 阅读(865) 评论(0) 推荐(0) 编辑
摘要:本内容源自慕课网: 组件: spark streaming mlib grapx clustere manager 紧密集成: 易于优化 阅读全文
posted @ 2018-03-12 12:54 谦曰盛 阅读(164) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示