摘要: 18大DM算法 其他经典DM算法 阅读全文
posted @ 2019-05-27 10:02 藤露 阅读(556) 评论(0) 推荐(0) 编辑
摘要: 1 Spark原理分析 -- RDD的Partitioner原理分析 2 Spark原理分析 -- RDD的shuffle简介 3 Spark原理分析 -- RDD的shuffle框架的实现概要分析 4 Spark原理分析 -- RDD的依赖(Dependencies)原理分析 5 Spark原理分 阅读全文
posted @ 2019-05-23 09:28 藤露 阅读(325) 评论(0) 推荐(0) 编辑
摘要: 1 Spark rdd -- action函数详解与实战 2 Spark rdd -- transformations函数详解与实战(上) 3 Spark rdd -- transformations函数详解与实战(下) 4 Spark rdd -- aggregate函数深度剖析与应用 5 Spa 阅读全文
posted @ 2019-05-23 09:05 藤露 阅读(375) 评论(0) 推荐(0) 编辑
摘要: 书单: 1 曾国藩家书全集 2 如何聊天暖人心,如何聊天不冷场 主题: 1 与家人的沟通模式 2 聊天的人格魅力 3 爱情观 阅读全文
posted @ 2019-05-19 10:26 藤露 阅读(222) 评论(0) 推荐(0) 编辑
摘要: Hadoop源码解读系列 1、hadoop源码|common模块-configuration详解2、hadoop源码|core模块-序列化与压缩详解3、hadoop源码|core模块-远程调用与NIO详解4、hadoop源码|core模块-linux文件系统与nfs文件系统详解5、hadoop源码| 阅读全文
posted @ 2017-11-11 10:54 藤露 阅读(962) 评论(0) 推荐(0) 编辑
摘要: 1、大数据系列|Flume的架构和环境安装 2、大数据系列|Sqoop概念和环境安装 3、大数据系列|Sqoop1的核心命令 4、大数据系列|Vmware虚拟机中安装centos7 5、大数据系列|Vmware下Linux的虚拟机增加磁盘空间 6、大数据系列|Hive架构和工作原理 阅读全文
posted @ 2017-06-22 08:31 藤露 阅读(264) 评论(0) 推荐(0) 编辑

yaml简介
1.yaml [ˈjæməl]: Yet Another Markup Language :另一种标记语言。yaml 是专门用来写配置文件的语言,非常简洁和强大,之前用ini也能写配置文件,看了yaml后,发现这个更直观,更方便,有点类似于json格式

2.yaml基本语法规则:

大小写敏感

使用缩进表示层级关系

缩进时不允许使用Tab键,只允许使用空格。

缩进的空格数目不重要,只要相同层级的元素左侧对齐即可

#表示注释,从这个字符一直到行尾,都会被解析器忽略,这个和python的注释一样

3.yaml支持的数据结构有三种:

对象:键值对的集合,又称为映射(mapping)/ 哈希(hashes) / 字典(dictionary)

数组:一组按次序排列的值,又称为序列(sequence) / 列表(list)

纯量(scalars):单个的、不可再分的值。字符串、布尔值、整数、浮点数、Null、时间、日期

安装yaml
1.使用pip安装pyyaml模块

pip install pyyaml

安装之后-找zhoupan安装的 --20240425

 

 cfg.yaml文件

# celery config
backend: redis://127.0.0.1:6379
broker: redis://127.0.0.1:6380

# monitor config
tower_url : http://7.xx.11.230:7894
chrono_url : http://xx.169.50.233:8090

celery.py文件

#!/usr/bin/env python3
# -*- coding:utf-8 -*-
"""
celery配置文件
"""
import celery
from celery.schedules import crontab
from datetime import timedelta
import yaml
import os
from yaml import Loader

# 获取当前脚本所在文件夹路径
curPath = os.path.abspath(os.path.join(os.getcwd()))
# 获取yaml文件路径
yamlPath = os.path.join(curPath, "cfg.yaml")
print(yamlPath)
# open方法打开直接读出来
f = open(yamlPath, 'r', encoding='utf-8')
cfg = f.read()
d = yaml.load(cfg, Loader=Loader)  # 用load方法转字典

# 任务存储的数据库
backend = d.get('backend')
# 消息中间件
broker =  d.get('broker')

cel = celery.Celery('celery_demo',
                    backend=backend,
                    broker=broker,
                    # 包含以下两个任务文件,去相应的py文件中找任务,对多个任务做分类
                    include=[
                             'celery_tasks.task_execute_pre',
                             'celery_tasks.task_execute_post',
                             'celery_tasks.task_execute_main',
                             'celery_tasks.task_query',
                             'celery_tasks.task_status',
                             'celery_tasks.process_task'
                             ])

# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False

# 添加定时调度器
cel.conf.beat_schedule = {
    # 每一个元素都是一个定时任务,每一个元素的key是定时任务的名称
    'task_execute_main': {
            'task': 'celery_tasks.task_execute_main.execute_main_task',
            "schedule": timedelta(seconds=10),
            # 'schedule': crontab(minute="*/2"),
            'args': ('task_execute_main',)
        },
    'task_execute_post': {
        'task': 'celery_tasks.task_execute_post.execute_post_task',
        "schedule": timedelta(seconds=10),
        # 'schedule': crontab(minute="*/2"),
        'args': ('task_execute_post',)
    },
    'task_execute_pre': {
        'task': 'celery_tasks.task_execute_pre.execute_pre_task',
        "schedule": timedelta(seconds=10),
        # 'schedule': crontab(minute="*/2"),
        'args': ('task_execute_pre',)
    },
    'task_query': {
        'task': 'celery_tasks.task_query.parse_job_id',
        "schedule": timedelta(seconds=10),
        # 'schedule': crontab(minute="*/2"),
        'args': ('task_query',)
    },
    'task_status': {
        'task': 'celery_tasks.task_status.query_job_status',
        "schedule": timedelta(seconds=10),
        # 'schedule': crontab(minute="*/2"),
        'args': ('task_status',)
    },
    'process_task': {
        'task': 'celery_tasks.process_task.process_task',
        "schedule": timedelta(seconds=10),
        # 'schedule': crontab(minute="*/2"),
        'args': ('process_task',)
    }
}

 

 

参考博客:https://blog.csdn.net/zhusongziye/article/details/80024426

posted @ 2024-04-25 14:23 藤露 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 转载自https://blog.csdn.net/Trisyp/article/details/108498313 在进行python项目开发的时候一定会涉及到项目打包这个环节,有时因为一些依赖的原因没法打包成一个大的可执行文件,但为了代码的安全性我们最起码需要打包成pyc的预编译格式,这样运行者( 阅读全文
posted @ 2024-04-10 11:10 藤露 阅读(936) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-02-17 11:09 藤露 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 一、LINUX系统中1.参考博客: celery配置参考:https://www.bilibili.com/read/cv20941803/ linux安装多个redis:https://www.runoob.com/redis/redis-install.htmlhttps://blog.csdn 阅读全文
posted @ 2024-01-04 11:52 藤露 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 参考这篇博客:https://blog.csdn.net/smilehappiness/article/details/117337943 1.首先查看python的版本:python -V 2.安装python:3.安装虚拟环境报错1: 解决办法:export CURL_CA_BUNDLE="/e 阅读全文
posted @ 2023-12-20 09:40 藤露 阅读(422) 评论(0) 推荐(0) 编辑
摘要: pycharm自带的markdown确实一大堆问题,公式显示不出来,插件主页里一堆差评。 如果确实要在python里用markdown,并且要在markdown里用公式的话,建议去下载一个Markdown Editor插件。 阅读全文
posted @ 2023-11-22 22:21 藤露 阅读(1004) 评论(1) 推荐(0) 编辑
摘要: 1.安装包见附件 注意:附件不允许上传分卷包,只能zip后缀,下载后需要将.z01, z02, z03后面的.zip删除,最终附件如下 mysql-5.7.38-winx64.z01 mysql-5.7.38-winx64.z02 mysql-5.7.38-winx64.z03 mysql-5.7. 阅读全文
posted @ 2023-11-15 16:18 藤露 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 机器学习算法总结: https://blog.caiyongji.com/2019/04/10/machine-learning-mid-map-4.html 多元线性回归网站参考: https://www.geeksforgeeks.org/multiple-linear-regression-w 阅读全文
posted @ 2022-10-10 14:07 藤露 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 请问有深度之眼论文精读班的视频嘛?NLP方向的 https://pan.baidu.com/s/1xf6Oog1iAdeO_1QqiHyOag 提取码:zs56 贪心学院-京东的nlp https://pan.baidu.com/s/19EUvwbfXZAu7tvMWgdb90w 提取码:4v6v 阅读全文
posted @ 2021-05-20 17:28 藤露 阅读(297) 评论(0) 推荐(1) 编辑
摘要: 一、14种文本分类中的常用算法 包括8种传统算法:k临近、决策树、多层感知器、朴素贝叶斯(包括伯努利贝叶斯、高斯贝叶斯和多项式贝叶斯)、逻辑回归和支持向量机; 4种集成学习算法:随机森林、AdaBoost、lightGBM和xgBoost; 2种深度学习算法:前馈神经网络和LSTM。 各篇链接如下: 阅读全文
posted @ 2021-05-20 16:28 藤露 阅读(798) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示