Stay Hungry,Stay Foolish!

10 2020 档案

摘要:引子 在python中,存储序列数据(数组), 可以在list中存储。 但是list中元素可以支持不同类型的元素。这带来了数据存储的不规则性,但是现实中往往数组元素都是一致的。list处理上效率就会降低。 LIST https://www.tutorialspoint.com/python/pyth 阅读全文
posted @ 2020-10-29 16:07 lightsong 阅读(154) 评论(0) 推荐(0) 编辑
摘要:Assert -- 内置类UNIT TEST API https://realpython.com/python-testing/ You can write both integration tests and unit tests in Python. To write a unit test 阅读全文
posted @ 2020-10-27 17:01 lightsong 阅读(144) 评论(0) 推荐(0) 编辑
摘要:事件驱动型 此工作流实际上产生于事件驱动软件架构, 将软件系统切分为若干独立运行的子系统(进程), 每个子系统同时具有发送和接受事件消息的能力。 工作流定义依赖各个子系统发送和接受事件的定义, 分散在各个子系统中。 对于工作流管理流管理 优点: 松散耦合,扩展性好。 缺点: 工作流的总体拓扑没有总体 阅读全文
posted @ 2020-10-22 15:16 lightsong 阅读(1155) 评论(0) 推荐(0) 编辑
摘要:Apache Airflow https://airflow.apache.org/ Airflow is a platform created by the community to programmatically author, schedule and monitor workflows. 阅读全文
posted @ 2020-10-20 16:20 lightsong 阅读(682) 评论(0) 推荐(0) 编辑
摘要:DASK https://github.com/dask/dask https://dask.org/ DASK提供并行计算和任务调度能力。 集成和很多数据科学工具。 堪称数据科学家的SPARK. Dask provides advanced parallelism for analytics, e 阅读全文
posted @ 2020-10-16 14:27 lightsong 阅读(286) 评论(0) 推荐(0) 编辑
摘要:Joblib https://joblib.readthedocs.io/en/latest/index.html https://github.com/joblib/joblib 轻量流水线工具 (1)对于记忆模式, 使用上是透明的,并且具有懒计算特性。 (2)对于简单的并行计算是容易的。 Job 阅读全文
posted @ 2020-10-14 17:01 lightsong 阅读(197) 评论(0) 推荐(0) 编辑
摘要:Ray https://ray.io/ https://github.com/ray-project/ray (1)机器学习生态基于python语言,但是python具有全局解释器锁缺点,限制了对单台机器的多核的利用 (2)同时查大规模模型的数据的出现,需要依赖集群来解决类似问题,引入了分布式机器学 阅读全文
posted @ 2020-10-14 14:51 lightsong 阅读(339) 评论(0) 推荐(0) 编辑
摘要:DAGSTER https://github.com/dagster-io/dagster Dagster is a data orchestrator for machine learning, analytics, and ETL dagster是一种数据编排工具,为了机器学习,数据分析 和 E 阅读全文
posted @ 2020-10-11 00:34 lightsong 阅读(1523) 评论(0) 推荐(0) 编辑

千山鸟飞绝,万径人踪灭
点击右上角即可分享
微信分享提示