上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 24 下一页
摘要: 1. python 直接访问 jar 里面的类 先定义java文件,然后要访问java class, 需要有gateway server 和 entrypoint, 到时候python就可以连接上gateway server访问java object了.具体参考这里 python 怎么调用 java 阅读全文
posted @ 2020-03-23 16:01 mashuai_191 阅读(1869) 评论(0) 推荐(0) 编辑
摘要: 1. 单文件java 例子和简单项目例子 http://kleinfelter.com/java-hello-world-with-visual-studio-code-and-eclipse java 优秀项目 一个优秀的 java springboot 工程 http://doc.jeecg.c 阅读全文
posted @ 2020-03-19 16:18 mashuai_191 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 应该属于sequence classificagtion 问题 https://monkeylearn.com/text-classification/ https://machinelearningmastery.com/start-here/#deep_learning_time_series 阅读全文
posted @ 2020-03-12 18:02 mashuai_191 阅读(92) 评论(0) 推荐(0) 编辑
摘要: Spark 学习 Spark(一): 基本架构及原理 https://www.cnblogs.com/xing901022/p/8260362.html https://www.cnblogs.com/sunrye/p/6504876.html https://zhuanlan.zhihu.com/ 阅读全文
posted @ 2020-03-12 13:05 mashuai_191 阅读(114) 评论(0) 推荐(0) 编辑
摘要: Zeppelin 遇到的问题: 1. 在interpreter 界面配置 dependency management 了以后,报 Error setting properties for interpreter 'spark.spark': Cannot fetch dependencies for 阅读全文
posted @ 2020-03-09 14:17 mashuai_191 阅读(343) 评论(0) 推荐(0) 编辑
摘要: 解决了什么问题 delta lake 是有 ACID 支持,有time travel... 对数据可以验证,不再需要 λ 架构 对事务的ACID支持,解决了spark job 可能会中间exception造成的不可预知状态. 比如 overwrite (delete+create) 模式下,删除了文 阅读全文
posted @ 2020-03-06 10:15 mashuai_191 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 参考了这篇写的很好的[1],讲了各种模型 因为是各种模型都是用微分方程写的,所以又去学习了一下微分方程 ,真的忘了有没有学过这个,反正一点印象也没有了. 好在[2] 这个文章又把我带回去了. SI 的微分方程是: 下图我写出来分离变量形式(画了三角那个)解微分方程的过程(主要参考[3]), 好在最后 阅读全文
posted @ 2020-02-17 11:06 mashuai_191 阅读(755) 评论(0) 推荐(0) 编辑
摘要: spark 本身对 dataframe 的操作支持没有像pandas 那样强大,所有我们可以把spark dataframe 转化成 pandas dataframe 来利用pandas dataframe的方便性,这个是通过 pandas udf 来完成的 spark2.4.4官方文档 https 阅读全文
posted @ 2020-02-07 11:01 mashuai_191 阅读(414) 评论(0) 推荐(0) 编辑
摘要: 1. 环境搭建 big data env setup 2. Spark 学习 spark 怎么读写 elasticsearch spark 怎么 连接 读写 ElasticSearch Spark 上time series 处理 Flint by Two Sigma 像 pandas datafra 阅读全文
posted @ 2020-02-06 13:09 mashuai_191 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 参考文章: https://www.bmc.com/blogs/spark-elasticsearch-hadoop/ https://blog.pythian.com/updating-elasticsearch-indexes-spark/ https://qbox.io/blog/elasti 阅读全文
posted @ 2020-01-07 16:50 mashuai_191 阅读(1132) 评论(0) 推荐(0) 编辑
上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 24 下一页