摘要: 这里以将Apache的日志写入到ElasticSearch为例,来演示一下如何使用Python将Spark数据导入到ES中。 实际工作中,由于数据与使用框架或技术的复杂性,数据的写入变得比较复杂,在这里我们简单演示一下。 如果使用Scala或Java的话,Spark提供自带了支持写入ES的支持库,但 阅读全文
posted @ 2020-04-16 23:45 阿布_alone 阅读(1012) 评论(0) 推荐(0) 编辑
摘要: 熟悉linux的朋友应该知道在linux中可以使用crontab设置定时任务。可以通过命令crontab -e编写任务。当然也可以直接写配置文件设置任务。 但是有时候希望通过脚本自动设置,比如我们应用程序部署时等。有需求当然就得想办法解决,不然在程序猿界混(一群自得其乐的猿)。 下面进入正题,开始想 阅读全文
posted @ 2020-04-16 23:20 阿布_alone 阅读(1489) 评论(0) 推荐(0) 编辑
摘要: 使用threading模块中的Timer函数 from threading import Timer import time def execute_func(name, age, gender, hobby): print(f"name is {name}, age is {age}, gende 阅读全文
posted @ 2020-04-16 00:05 阿布_alone 阅读(343) 评论(0) 推荐(0) 编辑
TOP