随笔分类 - Learning
摘要：title: Essay——联邦学习小记 tags: - Essay category: Essay mathjax: true date: 2022-07-01 # **什么是Federated Learning（联邦学习）** Federated Learning是一种训练数据去中心化的机器学习
阅读全文
摘要：# 搭建zookeeper： 1、下载zookeeper并解压 ``` tar -zxvf zookeeper-3.4.6.tar.gz -C /bigdata** ``` 2、修改zookeeper的配置文件，并建立数据目录data和日志目录logs **cd zookeeper-3.4.6**
阅读全文
摘要：Q&A Notice Mysql安装遇见问题： error: Failed dependencies: MySQL conflicts with mysql-5.1.71-1.el6.x86_64 解决办法 ps aux | grep mysql kill -9 进程号 mysql的相关命令是 /e
阅读全文
摘要：Spark的搭建 安装Scala 由于Scala只是一个应用软件，只需要安装在master节点即可。 上传scala安装包 /bigdata/packet/scala-2.11.8 解压scala安装包 tar -zxvf scala-2.11.8.tgz -C /bigdata 环境变量配置（三台
阅读全文
摘要：一、系统环境 Centos MongoDB 关闭防火墙 | 192.168.174.131 | 192.168.174.132 | 192.168.174.133 | | | | | | mongos | mongos | mongos | | config server | config serv
阅读全文
摘要：Hive笔记 hive的存储格式： 1 textfile 没有压缩，但是比较占用存储空间。读取效率最高 2 rcfile 有压缩，空间占用小。 比较节省空间。 3 SequenceFile 适合小文件存储。 hive和hdfs的关系： hive的存储是基于hdfs的，在hive中创建一个库，实际上就
阅读全文
摘要：Hive安装 首先安装MySQL 1、查看mysql的依赖 rpm -qa | grep mysql 2、删除mysql的依赖 rpm -e --nodeps `rpm -qa | grep mysql` rpm -e --nodeps `rpm -qa | grep MySQL` 3、离线安装my
阅读全文
摘要：Hbase Shell的用法 whoami 我是谁 whoami version 返回hbase版本信息 version status 返回hbase集群的状态信息 status table_help 查看如何操作表 table_help create 创建表 create ‘表名’, ‘列族名1’
阅读全文
摘要：安装hbase 1．解压缩hbase的软件包，使用命令： tar -zxvf hbase-1.3.0-bin.tar.gz 2．进入hbase的配置目录，在hbase-env.sh文件里面加入java环境变量.即： export JAVA_HOME=/bigdata/jdk1.8.0_121 #关闭
阅读全文
摘要：MapReduce 上图是MapReduce的任务处理过程 概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点
阅读全文
摘要：HDFS shell操作 配置hadoop环境变量 vi /etc/profile export HADOOP_HOME=/usr/local/soft/hadoop-2.6.0 export PATH=.:\$JAVA_HOME/bin:\$HADOOP_HOME/bin:$PATH 然后执行 s
阅读全文
摘要：HADOOP 相关知识 Hadoop的优势 ⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 ⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 ⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡
阅读全文
摘要：一．选题 1.1 背景 从 1934 年到 1963 年，旧金山因将一些世界上最臭名昭著的罪犯关押在无法逃脱的岛而臭名昭著恶魔 。 今天，这座城市以其科技场景而闻名，而不是它的犯罪历史。但是，随着财富不平等的加剧、住房短缺以及乘坐 BART 上班的昂贵数字玩具的激增，海湾边的城市并不缺乏犯罪。 从
阅读全文
摘要：首先需要安装一个新的jdk 然后修改环境变量里面的JAVA_HOME 然后复制新的jdk/bin里面的java.exe/javaw.exe/javaws.exe到C:\Windows\System32 注意修改regedit中的注册表的信息HKEY_LOCAL_MACHINE\Software\Ja
阅读全文
摘要：安装CUDA 同样的在运行不同代码的时候，需要的环境不同，所以需要不同的GPU环境，Cuda的需要自然也就发生改变 特别是关于tensorflow的运行中。 首先我们需要在nvidia的官网上找到我们所需要的cuda版本，接下来可以根据各自的实际要求来选择 当前环境配置：Ubuntu20.04 gc
阅读全文
摘要：TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语
阅读全文
摘要：#如何查看Linux版本 cat /proc/version`可以查看目录下"/proc"下version的信息，也可以得到当前系统的内核版本号及系统名称 。 显示linux standard base的基础配置 #如何解决暂不能解析域名 ##例如 apt-get 操作过程中提示无法解析域名“cn.
阅读全文
摘要：有的时候，不同环境要求的gcc编译器版本不同，需要安装多个gcc来随时切换 所以一开始安装的时候，利用ubuntu软件源包含一个软件包组"build-essential"，其中有GNU编辑器集合、GNU调试器、和其他编译软件所必需的开发库与工具 sudo apt update sudo apt in
阅读全文
摘要：轮盘赌选择法（roulette wheel selection）是最简单也是最常用的选择方法，在该方法中，各个个体的选择概率和其适应度值成比例，适应度越大，选中概率也越大。但实际在进行轮盘赌选择时个体的选择往往不是依据个体的选择概率，而是根据“累积概率”来进行选择。 轮盘赌选择法操作过程 以一个实例
阅读全文