随笔分类 -  笔记: 大数据 -- 基础

CDA课程学习笔记
常见端口号
摘要：1、Hadoop | 目录 | Hadoop3.x | | | | | 访问HDFS端口 | 50070 | | 访问MR执行情况端口 | 8088 | | 历史服务器 | 19888 | | 客户端访问集群端口 | 9000 | 2、Hive 10002 : hiveservice2服务默认监听端 阅读全文
posted @ 2023-02-04 00:08 半个程序猿Cohen_Lee 阅读(131) 评论(0) 推荐(1)
Hive+spark工业化项目
摘要：DolphinScheduler:国产调度平台 airflow: 调度平台 阅读全文
posted @ 2022-09-29 14:40 半个程序猿Cohen_Lee 阅读(33) 评论(0) 推荐(0)
大数据开发学习路线
摘要：https://cloud.tencent.com/developer/article/2073235 阅读全文
posted @ 2022-08-21 16:52 半个程序猿Cohen_Lee 阅读(30) 评论(0) 推荐(0)
大数据相关问题
摘要：###数据湖与数据仓库的区别 根据要求，典型的组织将需要数据仓库和数据湖，因为它们可满足不同的需求和使用案例。 数据仓库是一个优化的数据库，用于分析来自事务系统和业务线应用程序的关系数据。事先定义数据结构和 Schema 以优化快速 SQL 查询，其中结果通常用于操作报告和分析。数据经过了清理、丰富 阅读全文
posted @ 2022-08-11 09:58 半个程序猿Cohen_Lee 阅读(45) 评论(0) 推荐(0)
数据仓库建模基础理论-(1)
摘要：##数仓建模课程介绍 阅读全文
posted @ 2022-08-10 10:11 半个程序猿Cohen_Lee 阅读(26) 评论(0) 推荐(0)
2022年7月bench学习计划
摘要：选择技术 Pyspark + hive 制定项目 计划spark+hive离线数仓项目 根据b站学习,做笔记,demo项目 项目效果: https://www.jianshu.com/p/feca6ab96cb1 阅读全文
posted @ 2022-07-05 09:45 半个程序猿Cohen_Lee 阅读(59) 评论(0) 推荐(0)
大数据常用命令
摘要：##Hadoop ###集群开启命令 start-all.sh mapred --daemon start historyserver ##hive 启动beeline模式：./beeline -u jdbc:hive2://node1:10000 -n atguigu 启动hiveservice2 阅读全文
posted @ 2022-06-21 10:26 半个程序猿Cohen_Lee 阅读(42) 评论(0) 推荐(0)
大数据导论--Linux基础
摘要：大数据导论 ##企业大数据分析方向 数据是什么 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号 或这些物理符号的组合，它是可识别的、抽象的符号。 ###数据分析 把隐藏在数据背后的信息集中和提炼出来，总结出所研究对象的内在规律，帮助管理者进行有效 阅读全文
posted @ 2022-06-01 17:06 半个程序猿Cohen_Lee 阅读(102) 评论(0) 推荐(0)
大数据开发具备知识
摘要：一，题记 要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。 二，大数据里面的角色 角色一：大数据工程 大数据工程需要解决数据 阅读全文
posted @ 2022-04-01 22:47 半个程序猿Cohen_Lee 阅读(181) 评论(0) 推荐(0)
分享:从0开始学习大数据
摘要：大数据基础 一、大数据时代的认识与简介 （一）学习大数据的意义 在未来，软件开发将是“面向 AI 编程”，软件的核心业务逻辑和价值将围绕机器学习的结果也就是 AI 展开，软件工程师的工作就是考虑如何将机器学习的结果更好地呈现出来，如何更好地实现人和 AI 的交互。 将来，数据会越来越成为公司的核心资 阅读全文
posted @ 2021-04-21 19:24 半个程序猿Cohen_Lee 阅读(226) 评论(0) 推荐(0)