摘要: 一个深度学习项目包括了: 模型设计、损失函数设计、梯度更新方法、模型保存和加载和模型训练,其中损失函数就像一把衡量模型学习效果的尺子,训练模型的过程就是优化损失函数的过程,模型拿到数据之后有一个非常重要的环节: 将模型自己的判断结果和数据真实的情况做比较,如果偏差或者差异特别大,那么模型就要去纠正自 阅读全文
posted @ 2022-08-01 11:03 N3ptune 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 模型训练的开发过程可以看作是一套完整的生产流程,这些环节包括: 数据读取、网络设计、优化方法与损失函数的选择以及一些辅助的工具等,TorchVision是一个和PyTorch配合使用的Python包,包含很多图像处理工具 PyTorch中的数据读取 模型训练开始的第一步就是数据读取,PyTorch提 阅读全文
posted @ 2022-07-30 09:43 N3ptune 阅读(595) 评论(0) 推荐(0) 编辑
摘要: 容器只是对单个进程的隔离和封装,实际的应用场景要求许多的应用进程互相协同工作,因此出现了容器编排,Kubernetes将集群中的计算资源定义为节点(Node),其中又划分成控制面和数据面两类,控制面是Master节点,负责管理集群和运维监控,里面的核心组件是apiserver、etcd、schedu 阅读全文
posted @ 2022-07-29 12:38 N3ptune 阅读(216) 评论(0) 推荐(0) 编辑
摘要: Kubernetes中用于管理配置信息的两种对象: ConfigMap和Secret,可使用它们来灵活地配置和定制应用。应用程序有很多类别的配置信息,从数据安全的角度看可分为明文配置和机密配置,明文配置就是不保密,可以任意修改,如服务端口、运行参数、文件路径等等,机密配置涉及敏感信息需要保密,不能随 阅读全文
posted @ 2022-07-28 13:16 N3ptune 阅读(321) 评论(0) 推荐(0) 编辑
摘要: Dockerfile官方文档: https://docs.docker.com/engine/reference/builder/ 获取容器镜像的方法 容器镜像是容器模板,通过容器镜像才能快速创建容器,容器镜像可分为操作系统类和应用类,操作系统类如CentOS,Ubuntu等镜像,应用类的镜像如Ng 阅读全文
posted @ 2022-07-27 14:28 N3ptune 阅读(1308) 评论(0) 推荐(0) 编辑
摘要: Numpy与Tensor是PyTorch的重要内容 Numpy的使用 Numpy是Python中科学计算的一个基础包,提供了一个多维度的数组对象,数组是由numpy.ndarray类来实现的,是Numpy的核心数据结构,其索引从0开始,和Python列表不同的是,Numpy没办法动态地改变,创建时就 阅读全文
posted @ 2022-07-26 13:58 N3ptune 阅读(604) 评论(0) 推荐(1) 编辑
摘要: 基于Pod的设计理念,Kubernetes有两种对象Job和CronJob Job和CronJob组合了Pod,实现了对离线业务的处理。如Nginx和busybox,分别代表了Kubernetes里的两大类业务: Nginx这样长时间运行的在线业务和busybox这样的短时间运行的离线业务。在线业务 阅读全文
posted @ 2022-07-25 13:42 N3ptune 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 为了解决多应用联合运行的问题,同时还要不破坏容器的隔离,就要再对多个容器进行打包。Pod就是对容器的打包,里面的容器可以看成是一个整体,总是能一起调度、一起运行,绝不会出现分离的情况,而Pod属于Kubernetes,可以在不触碰下层容器的情况下任意定制和修改,Kubernetes让Pod去编排容器 阅读全文
posted @ 2022-07-24 21:35 N3ptune 阅读(190) 评论(0) 推荐(0) 编辑
摘要: YAML是Kubernetes的标准工作语言 YAML介绍 Kubernetes使用了YAML语言一个非常关键的特性,叫作"声明式",对应的有另外一个词: "命令式" 先简单描述声明式和命令式之间的区别: 如Docker和Dokcerfile就属于"命令式",大多数编程语言属于命令式,特点是交互性强 阅读全文
posted @ 2022-07-23 21:33 N3ptune 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 容器技术只是解决了运维部署工作中的一个很小的问题,在现实生产环境中,除了最基本的安装,还会各式各样的需求,比如服务发现、负载均衡、状态监控、健康检查、扩容缩容、应用迁移、高可用等等。这些容器之上的管理、调度工作就是容器编排 Kubernetes 从0到0.1 是一个生产级别的容器编排平台和集群管理系 阅读全文
posted @ 2022-07-23 13:54 N3ptune 阅读(124) 评论(0) 推荐(0) 编辑