随笔分类 -  大数据

大数据存储系统
摘要：相关协议 应用层协议结构 洋葱式结构，一层包一层。 相关协议 IP (Internet Protocol) 实现方式：使用IPv4地址，唯一标识一台联网的机器，基于路由转发。 IP包结构：头，数据 特点：无连接，无序，不保证可靠 TCP (Transmission Control Protocol) 阅读全文
posted @ 2023-05-30 22:53 Laplace蒜子 阅读(77) 评论(0) 推荐(0) 编辑
推荐系统
摘要：什么是推荐系统 根据用户搜索的内容，向用户推荐item。 在一个页面中，能够用于做推荐，做展示的部分非常有限。 网络使得产品信息传播的成本几乎为0。 长尾效应 只有少数几个热度非常高的item在前面部分，占据了绝大多数关注量。而后面大量的非热门item几乎没多少关注度。 推荐系统类型 手工策划进行推 阅读全文
posted @ 2023-05-27 10:30 Laplace蒜子 阅读(14) 评论(0) 推荐(0) 编辑
Hadoop操作
摘要：基本命令 启动Hadoop start-dfs.sh 确保ssh服务打开了，否则启动不成功 打开ssh服务：sudo /usr/sbin/sshd 创建文件夹 hadoop fs -mkdir 路径 for example! hadoop fs -mkdir /HomeWork 就会在根目录创建一个 阅读全文
posted @ 2023-04-21 20:32 Laplace蒜子 阅读(22) 评论(0) 推荐(0) 编辑
关系数据库3
摘要：事务处理 定义 没有特殊设置，每个SQL语句都被认为一个事务。 有特殊设置时，有 事务开始transaction，成功结束transaction，异常结束transaction。 成功的事务 begin transaction; ...... commit transaction 失败的事务 beg 阅读全文
posted @ 2023-03-10 17:12 Laplace蒜子 阅读(44) 评论(0) 推荐(0) 编辑
关系数据库基本知识
摘要：关系型数据模型 基本模型 Table/Relation：一个表可以称为关系 列(Column)：一个属性，有明确的数据类型。必须是原子类型，不能够再进一步分割， 行(Row)：一个记录（tuple, record）。 通常是一个很瘦长的表。 Schema：类型，一个表的类型是由每个列的类型决定的。S 阅读全文
posted @ 2023-03-03 14:58 Laplace蒜子 阅读(61) 评论(0) 推荐(0) 编辑
数据挖掘基本概念
摘要：数据挖掘定义 值对数据进行收集，清洗，加工和分析并从中获取有用知识的过程。 数据挖掘过程 数据采集 使用像传感器网络这样的专门硬件，手工录入的用户调查，或者如同Web爬虫工具来收集文档。 特征提取和数据清洗 上阶段获得的数据不适合直接进行处理，要转化为对数据挖掘算法较为合适的格式。 分析处理和算法 阅读全文
posted @ 2023-02-22 20:22 Laplace蒜子 阅读(44) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示