写在2020年初的一些回顾和今年的目标

  学而不思则罔,一眨眼已经工作四年多了,除了感叹时间过的真快外,感觉自己对技术的掌握很乱,主要在于之前在中小型公司工作,对技术的要求是全而不深,要求你啥都要懂。领导说到一个技术,你就得去学去用,当然一个人的精力有限,学的全面了当然就不精通了。

  回顾一下这些年用过的技术:

    一、开发语言java,scala,python,html

    二、web开发框架:

      java: SSM,SpringBoot

      scala:Play

      python:Flask

    三、大数据相关的组件:

      hadoop:大数据的基石,用的比较多的是HDFS

      hive: 数据仓库工具,主要用于大数据的离线处理

      spark:主要用于大数据的离线处理和实时处理

      hbase:分布式,面向列的数据库

      MongoDB:基于分布式文件存储的数据库

      sqlserver,mysql,oracle:常用的关系型数据库

      redis:内存数据库

      kafka:消息中间件

      flume:数据收集处理工具

      sqoop:主要用于hive与关系型数据库中的数据转移

      zookeeper:用于分布式应用的管理协调

     四、数据挖掘

      kettle:图形化的ETL工具

      numpy,pandas,matplotlib:Python数据分析常用的工具包

      hanlp:java的NLP工具包

      gensim,jieba:python的NLP工具包

      Beautiful Soup,pyspider:python爬虫相关

      tensorflow,paddlepaddle:python深度学习框架

     五、其他

      maven,sbt:项目管理工具

      git:版本控制工具

      CDH:hadoop的另一个常用版本     

 现在感觉技术挺全面的了,2020年计划将这些技术进行更进一步的学习巩固,构建自己的知识体系。

 2020年想学的技术:Flink,更多的神经网络

       

posted @ 2020-03-07 22:50  飞末  阅读(309)  评论(0编辑  收藏  举报