2023年6月24日
差分隐私（三）：谷歌RAPPOR算法
摘要： 动机 1、运营商需要分析用户数据 （1）用于维护平台性能与分析报错（2）为用户服务提供安全保障 2、收集用户数据会带来的困境 （1）收集用户数据会损害用户隐私（2）不收集会难以改进服务 3、当时拥有的方法不尽人意 （1）降低收集的数据信息粒度（2）一定时间后强制删除收集数据提供的隐私保护程度有限 实 阅读全文
posted @ 2023-06-24 18:07 sftsgly 阅读(1018) 评论(0) 推荐(1) 编辑
差分隐私（二）：差分隐私能够做什么
摘要： 1、差分隐私数据库 只回答聚合查询的结果，向结果中添加噪声来满足差分隐私 例子：微软的PINQ、Uber的Chorus 技术难点： (1) 如何用尽量少的噪声来完成差分隐私的目的，尤其是在查询需要连接多张数据库表的时候 (2) 如何高效计算查询的敏感度(度量一个函数或查询对个人数据的影响程度) (3 阅读全文
posted @ 2023-06-24 15:25 sftsgly 阅读(322) 评论(0) 推荐(0) 编辑
差分隐私（一）：概念
摘要： 一、什么是差分隐私（定义） 差分隐私是一种保护数据隐私的方法，通过添加噪声来扰动原始数据，进而确保数据在输出时受单条记录的影响始终低于某个阈值,使得攻击者无法使用差分攻击推断出个体的敏感信息。 二、简单的例子 （1）差分攻击 图一：差分隐私攻击 假设现在有一个婚恋数据库，2个单身8个已婚，只能查有多 阅读全文
posted @ 2023-06-24 13:01 sftsgly 阅读(2127) 评论(0) 推荐(0) 编辑
2023年1月28日
Hadoop学习总结 (八) —— 源码分析
摘要： 1、RPC通信原理 2、NameNode 3、DataNode 4、HDFS 5、Yarn 阅读全文
posted @ 2023-01-28 17:52 sftsgly 阅读(29) 评论(0) 推荐(0) 编辑
2023年1月18日
Hadoop学习总结 (七) —— 生产调优
摘要： 1、NameNode内存生产配置 （1）NameNode内存计算 每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿 G MB KB Byte （2）Hadoop3.x系列，配置Nam 阅读全文
posted @ 2023-01-18 21:11 sftsgly 阅读(64) 评论(0) 推荐(0) 编辑
2023年1月16日
Hadoop学习总结 (六) —— YARN
摘要： 1、Yarn基础架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 2、Yarn工作机制 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Applic 阅读全文
posted @ 2023-01-16 17:54 sftsgly 阅读(70) 评论(0) 推荐(0) 编辑
2023年1月15日
Hadoop学习总结 (五) —— MAPREDUCE（2）
摘要： 1、OutFormat数据输出 2、MapTask工作机制 （1）Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处 阅读全文
posted @ 2023-01-15 16:31 sftsgly 阅读(84) 评论(0) 推荐(0) 编辑
2023年1月14日
Hadoop学习总结 (四) —— MAPREDUCE（1）
摘要： 1、MapReduce的定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 2、优缺点 优点：（1）Ma 阅读全文
posted @ 2023-01-14 21:50 sftsgly 阅读(48) 评论(0) 推荐(0) 编辑
2023年1月13日
Hadoop学习总结 (三) —— HDFS
摘要： 1、HDFS产生的背景和定义 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDFS定义 HDFS 阅读全文
posted @ 2023-01-13 16:30 sftsgly 阅读(62) 评论(0) 推荐(0) 编辑
2023年1月12日
Hadoop学习总结 (二)——环境搭建
摘要： 1、环境搭建的流程 （1）安装多台虚拟机，系统为CentOS （2）安装epel-release yum install -y epel-release （3）如果Linux安装的是最小系统版本，还需要安装net-tool和vim yum install -y net-tools yum insta 阅读全文
posted @ 2023-01-12 19:59 sftsgly 阅读(100) 评论(0) 推荐(0) 编辑