摘要：
# [PyTorch——配置深度学习环境](https://www.cnblogs.com/young978/p/15686819.html) 还在为各种包的版本匹配发愁，还在冥想这个错误到底从何而来。 **放弃吧，重装才是王道。** ## 安装Cuda tensor在GPU上运行是可以提高一定的处 阅读全文
摘要：
title: Essay——联邦学习小记 tags: - Essay category: Essay mathjax: true date: 2022-07-01 # **什么是Federated Learning（联邦学习）** Federated Learning是一种训练数据去中心化的机器学习 阅读全文
摘要：
# 搭建zookeeper： 1、下载zookeeper并解压 ``` tar -zxvf zookeeper-3.4.6.tar.gz -C /bigdata** ``` 2、修改zookeeper的配置文件，并建立数据目录data和日志目录logs **cd zookeeper-3.4.6** 阅读全文
摘要：
Q&A Notice Mysql安装遇见问题： error: Failed dependencies: MySQL conflicts with mysql-5.1.71-1.el6.x86_64 解决办法 ps aux | grep mysql kill -9 进程号 mysql的相关命令是 /e 阅读全文
摘要：
Spark的搭建 安装Scala 由于Scala只是一个应用软件，只需要安装在master节点即可。 上传scala安装包 /bigdata/packet/scala-2.11.8 解压scala安装包 tar -zxvf scala-2.11.8.tgz -C /bigdata 环境变量配置（三台 阅读全文
摘要：
一、系统环境 Centos MongoDB 关闭防火墙 | 192.168.174.131 | 192.168.174.132 | 192.168.174.133 | | | | | | mongos | mongos | mongos | | config server | config serv 阅读全文
摘要：
Hive笔记 hive的存储格式： 1 textfile 没有压缩，但是比较占用存储空间。读取效率最高 2 rcfile 有压缩，空间占用小。 比较节省空间。 3 SequenceFile 适合小文件存储。 hive和hdfs的关系： hive的存储是基于hdfs的，在hive中创建一个库，实际上就 阅读全文
摘要：
Hive安装 首先安装MySQL 1、查看mysql的依赖 rpm -qa | grep mysql 2、删除mysql的依赖 rpm -e --nodeps `rpm -qa | grep mysql` rpm -e --nodeps `rpm -qa | grep MySQL` 3、离线安装my 阅读全文
摘要：
Hbase Shell的用法 whoami 我是谁 whoami version 返回hbase版本信息 version status 返回hbase集群的状态信息 status table_help 查看如何操作表 table_help create 创建表 create ‘表名’, ‘列族名1’ 阅读全文
摘要：
安装hbase 1．解压缩hbase的软件包，使用命令： tar -zxvf hbase-1.3.0-bin.tar.gz 2．进入hbase的配置目录，在hbase-env.sh文件里面加入java环境变量.即： export JAVA_HOME=/bigdata/jdk1.8.0_121 #关闭 阅读全文
摘要：
MapReduce 上图是MapReduce的任务处理过程 概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点 阅读全文