10 2020 档案
摘要:引子 在python中,存储序列数据(数组), 可以在list中存储。 但是list中元素可以支持不同类型的元素。这带来了数据存储的不规则性,但是现实中往往数组元素都是一致的。list处理上效率就会降低。 LIST https://www.tutorialspoint.com/python/pyth
阅读全文
摘要:Assert -- 内置类UNIT TEST API https://realpython.com/python-testing/ You can write both integration tests and unit tests in Python. To write a unit test
阅读全文
摘要:事件驱动型 此工作流实际上产生于事件驱动软件架构, 将软件系统切分为若干独立运行的子系统(进程), 每个子系统同时具有发送和接受事件消息的能力。 工作流定义依赖各个子系统发送和接受事件的定义, 分散在各个子系统中。 对于工作流管理流管理 优点: 松散耦合,扩展性好。 缺点: 工作流的总体拓扑没有总体
阅读全文
摘要:Apache Airflow https://airflow.apache.org/ Airflow is a platform created by the community to programmatically author, schedule and monitor workflows.
阅读全文
摘要:DASK https://github.com/dask/dask https://dask.org/ DASK提供并行计算和任务调度能力。 集成和很多数据科学工具。 堪称数据科学家的SPARK. Dask provides advanced parallelism for analytics, e
阅读全文
摘要:Joblib https://joblib.readthedocs.io/en/latest/index.html https://github.com/joblib/joblib 轻量流水线工具 (1)对于记忆模式, 使用上是透明的,并且具有懒计算特性。 (2)对于简单的并行计算是容易的。 Job
阅读全文
摘要:Ray https://ray.io/ https://github.com/ray-project/ray (1)机器学习生态基于python语言,但是python具有全局解释器锁缺点,限制了对单台机器的多核的利用 (2)同时查大规模模型的数据的出现,需要依赖集群来解决类似问题,引入了分布式机器学
阅读全文
摘要:DAGSTER https://github.com/dagster-io/dagster Dagster is a data orchestrator for machine learning, analytics, and ETL dagster是一种数据编排工具,为了机器学习,数据分析 和 E
阅读全文