综述
从业于大数据,需要我们不断的学习。
大数据这个行业所要学习的技术栈种类繁多。
就我个人职业生涯中,接触到的技术栈有以下这些:
- 分布式系统:HDFS,Alluxio
- 计算引擎:Mapreduce,Spark计算引擎:Mapreduce,Spark
- 数据采集发布:Kafka,Redis,Flume
- 数据交换(ETL):Sqoop,Kylin数据交换(ETL):Sqoop,Kylin
- 数据分析处理:Hive,Impala
- 实时流数据处理:Spark,Flink,Storm,Stream
- 数据检索:ElasticSearch
所涉及到的语言也是多种多样的:
java,python,scala,shell,groovy
还用到过一些其他当下流行的技术:
比如docker,github.
技术日新月异的当下,要求我们要有扎实的基础,意识到技术的演变都是在这基础之上发展而来。如果不能认识到这一点,那么终会跟不上技术时代的步伐而被淘汰。有方法的勤奋方能事半功倍,有积累的学习才能做到集腋成裘,聚沙成塔。
这是我开设此专栏的初衷,愿与各位技术同道互励共勉。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端