写在2020年初的一些回顾和今年的目标
学而不思则罔,一眨眼已经工作四年多了,除了感叹时间过的真快外,感觉自己对技术的掌握很乱,主要在于之前在中小型公司工作,对技术的要求是全而不深,要求你啥都要懂。领导说到一个技术,你就得去学去用,当然一个人的精力有限,学的全面了当然就不精通了。
回顾一下这些年用过的技术:
一、开发语言java,scala,python,html
二、web开发框架:
java: SSM,SpringBoot
scala:Play
python:Flask
三、大数据相关的组件:
hadoop:大数据的基石,用的比较多的是HDFS
hive: 数据仓库工具,主要用于大数据的离线处理
spark:主要用于大数据的离线处理和实时处理
hbase:分布式,面向列的数据库
MongoDB:基于分布式文件存储的数据库
sqlserver,mysql,oracle:常用的关系型数据库
redis:内存数据库
kafka:消息中间件
flume:数据收集处理工具
sqoop:主要用于hive与关系型数据库中的数据转移
zookeeper:用于分布式应用的管理协调
四、数据挖掘
kettle:图形化的ETL工具
numpy,pandas,matplotlib:Python数据分析常用的工具包
hanlp:java的NLP工具包
gensim,jieba:python的NLP工具包
Beautiful Soup,pyspider:python爬虫相关
tensorflow,paddlepaddle:python深度学习框架
五、其他
maven,sbt:项目管理工具
git:版本控制工具
CDH:hadoop的另一个常用版本
现在感觉技术挺全面的了,2020年计划将这些技术进行更进一步的学习巩固,构建自己的知识体系。
2020年想学的技术:Flink,更多的神经网络