随笔分类 -  大数据和人工智能

大数据的搭建
摘要:nn.Conv2d() 是 PyTorch 中用于定义二维卷积层(Convolutional layer)的函数,它属于 torch.nn 模块,该模块包含了构建神经网络所需的所有构建块。二维卷积层是卷积神经网络(CNN)中最基本也是最重要的组件之一,广泛用于图像和视频处理、自然语言处理等领域。 n 阅读全文
posted @ 2024-07-20 10:09 leolzi 阅读(579) 评论(0) 推荐(0) 编辑
摘要:在PyTorch中,loss.grad_fn属性是用来访问与loss张量相关联的梯度函数的。 这个属性主要出现在使用自动微分(automatic differentiation)时,特别是在构建和训练神经网络的过程中。 当你构建一个计算图(computational graph)时,PyTorch会 阅读全文
posted @ 2024-07-20 09:40 leolzi 阅读(133) 评论(0) 推荐(0) 编辑
摘要:一、一级目录下各文件功能 模型架构(位于 /models): 如果希望改变YOLOv5的架构,需要修改通常位于 models 目录中的模型定义文件。这可能包括改变网络的深度和宽度,更改层类型或添加新层。 训练数据(位于 /data): 为了提高模型在特定任务上的表现,需要更新位于 data 目录中的 阅读全文
posted @ 2024-06-26 17:47 leolzi 阅读(284) 评论(0) 推荐(0) 编辑
摘要:dlib库的安装不建议自己编译,从网上下载已经编译好的 whl 包安装即可,自己编码cmake依赖太多,版本繁杂,一般不会成功 1、确定自己的python 版本 版本信息很容易获得 或 python -V 2.下载对应的版本的dlib whl文件 此处是 python 10,网上找相关的whl文件, 阅读全文
posted @ 2023-08-05 10:24 leolzi 阅读(203) 评论(0) 推荐(0) 编辑
摘要:Flink源码编译启动 背景纯小白新手入门flink,由于自身基础差底子薄,启动个源码各种查资料找资源,终于启动好了 值得记录一下,本文源码启动是基于idea+jdk8+maven在windows上启动flink1.16源码。 (1)下载源码源码地址:https://github.com/apach 阅读全文
posted @ 2023-06-13 08:57 leolzi 阅读(303) 评论(0) 推荐(0) 编辑
摘要:安装步骤(图文) 1.第一步: 安装 otp_win64_20.2.exe ,双击安装即可, 错误处理:如果c++ 按照报错,安装下面 两个 windows 更新 2.第二步:安装rabbitmq-server-3.7.4.exe双击文件rabbitmq-server-3.7.4.exe,傻瓜式安装 阅读全文
posted @ 2021-09-27 10:51 leolzi 阅读(91) 评论(0) 推荐(0) 编辑
摘要:Kafka 部署 1. 安装 下载与安装 kafka下载地址:https://kafka.apache.org/downloads 需要说明的是,kafka的安装依赖于zk,zk的部署可直接参考《Zookeeper介绍与基本部署》。 当然,kafka默认也内置了zk的启动脚本,在kafka安装路径的 阅读全文
posted @ 2021-09-26 11:53 leolzi 阅读(785) 评论(0) 推荐(0) 编辑
摘要:1.参考博客(集群部署和调用相关) https://www.cnblogs.com/yyjjtt/p/13226989.html 2.关键部署 carte -h 命令: carte pwd/carte-config-master-8080.xml carte pwd/carte-config-808 阅读全文
posted @ 2020-07-07 09:52 leolzi 阅读(2414) 评论(0) 推荐(0) 编辑
摘要:二,开发篇下面介绍本地spark开发的示例,虽然spark是处理大数据的,常常在大型计算机集群上运行,但本地spark方便调试,可以帮助我们学习相关的语法。maven构建工具的开发流程可以参看:https://blog.csdn.net/u012373815/article/details/5326 阅读全文
posted @ 2020-04-18 15:48 leolzi 阅读(402) 评论(0) 推荐(0) 编辑
摘要:本文主要记录windows系统上安装spark,scala,和intelj IDEA,并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala,spark,hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好 阅读全文
posted @ 2020-04-18 15:36 leolzi 阅读(1930) 评论(0) 推荐(0) 编辑
摘要:# Copyright 2015 Google Inc. All Rights Reserved. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file exce 阅读全文
posted @ 2020-02-27 16:37 leolzi 阅读(351) 评论(0) 推荐(0) 编辑
摘要:一、 安装Docker 1.查看内核版本 <Docker 要求 CentOS 系统的内核版本高于 3.10> uname -r 本机<内核版本: 3.10.0-327.el7.x86_64>2.把yum包更新到最新 sudo yum update3.安装需要的软件包, yum-util 提供yum- 阅读全文
posted @ 2020-02-25 15:08 leolzi 阅读(159) 评论(0) 推荐(0) 编辑
摘要:1.资料来源官网,参考: https://www.elastic.co/cn/downloads/elasticsearch https://www.elastic.co/cn/downloads/kibana 2.windows 下安装: 2.1 安装 elasticSearch 下载: 解压 2 阅读全文
posted @ 2020-02-25 14:03 leolzi 阅读(740) 评论(0) 推荐(0) 编辑
摘要:1.phyon27 安装 1.1 下载 wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz 1.2 解压 tar -zxvf Python-2.7.14.tgz 1.3 进入目录,在编译前先在/usr/local建一个文件夹 阅读全文
posted @ 2020-02-22 16:19 leolzi 阅读(279) 评论(0) 推荐(0) 编辑
摘要:一、主机规划 3台主机:1个master、2个slaver/worker ip地址使用docker默认的分配地址: master: 主机名: hadoop2、ip地址: 172.17.0.2 slaver1: 主机名: hadoop3、ip地址: 172.17.0.3 主机名: hadoop4、ip 阅读全文
posted @ 2020-01-08 13:34 leolzi 阅读(4920) 评论(0) 推荐(0) 编辑
摘要:1、张量 几何代数中定义的张量是基于向量和矩阵的推广,通俗一点理解的话,我们可以将标量视为零阶张量,矢量视为一阶张量,那么矩阵就是二阶张量。 例如,可以将任意一张彩色图片表示成一个三阶张量,三个维度分别是图片的高度、宽度和色彩数据。将这张图用张量表示出来,就是最下方的那张表格: 其中表的横轴表示图片 阅读全文
posted @ 2019-12-25 08:35 leolzi 阅读(2181) 评论(0) 推荐(0) 编辑
摘要:1、sigma 表达式 ∑ 是一个求和符号,英语名称:Sigma,汉语名称:西格玛(大写Σ,小写σ) 第十八个希腊字母。在希腊语中,如果一个单字的最末一个字母是小写sigma,要把该字母写成 ς ,此字母又称final sigma(Unicode: U+03C2)。在现代的希腊数字代表6。 概述 大 阅读全文
posted @ 2019-12-13 10:10 leolzi 阅读(2550) 评论(0) 推荐(0) 编辑
摘要:1.概率分布 参考: https://blog.csdn.net/ZZh1301051836/article/details/89371412 p 2.幂次的意义 物理理解:幂次描述的是指数型的变化。事物在成长阶段发生的变化往往是指数型的(幂次的分布),参考《指数型组织》 比较常见的幂次就是 加速度 阅读全文
posted @ 2019-12-13 08:17 leolzi 阅读(908) 评论(0) 推荐(0) 编辑
摘要:什么是熵(entropy)? 1.1 熵的引入 事实上,熵的英文原文为entropy,最初由德国物理学家鲁道夫·克劳修斯提出,其表达式为: 它表示一个系系统在不受外部干扰时,其内部最稳定的状态。后来一中国学者翻译entropy时,考虑到entropy是能量Q跟温度T的商,且跟火有关,便把entrop 阅读全文
posted @ 2019-12-12 09:48 leolzi 阅读(779) 评论(0) 推荐(0) 编辑
摘要:今天,我们介绍的机器学习算法叫决策树。 跟之前一样,介绍算法之前先举一个案例,然后看一下如何用算法去解决案例中的问题。 我把案例简述一下:某公司开发了一款游戏,并且得到了一些用户的数据。如下所示: 图上每个图形表示一个用户,横坐标是年龄,纵坐标是性别。红色表示该用户喜欢这款游戏,蓝色表示该用户不喜欢 阅读全文
posted @ 2019-12-12 09:46 leolzi 阅读(702) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示