随笔分类 - 学习进度笔记
摘要：今天准备学习信息热词分析的作业。 1、学习构建北京市政百姓信件分析实战案例，完成 （1） 采集北京市政百姓信件内容； （2） 编写 MapReduce 程序清洗信件内容数据； （3） 利用 HiveSql 语句离线分析信件内容数据； （4） 利用 Sqoop 导出 Hive 分析数据到 MySQL
阅读全文
摘要：今天学习了关于Maven和Gradle的内容，本来想学spring boot的内容，但是在此之前还是要了解Maven和Gradle的内容的，之前虽然用过很多次，但是并不了解它的完整功能作用。 Spring Boot CLI 是一个命令行工具，它允许我们运行 Groovy 脚本。 这是使用 Sprin
阅读全文
摘要：今天在做spark的大数据实验的内容。 之前上武老师的课的时候，有接触过这部分的内容。 今天做的是spark实验一的内容，虚拟机很久之前就装过了。 使用 Linux 系统的常用命令 切换到目录 /usr/bin： cd /usr/bin 查看目录/usr/local 下所有的文件： ls /usr/
阅读全文
摘要：今天在做spark实验二：Scala 编程初级实践 先下载了scala2.11.8.tgz，解压完成实验。 这次实验一开始忘记实践配置的环境变量了，直接非法命令，然后解决了。 接着需要把scala命令添加到path环境变量中，这里我们在 ~/.bashrc 中进行设置，可以采用vim编辑器打开.ba
阅读全文
摘要：今天完成了实验3的第一部分HDFS的内容。 这部分内容比较简单，但是我一开始权限没给到位，在root用户里做了很久，好多报错，最后也是成功解决。 启动 Hadoop，在 HDFS 中创建用户目录"/user/hadoop"： hadoop fs -mkdir /user/hadoop 在 Linux
阅读全文
摘要：今天在菜鸟教程上学了关于redis的内容REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统，是跨平台的非关系型数据库。 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网
阅读全文
摘要：去顺平考科目二驾照耽误了一些时间，现在补上。 我们结队的项目是：基于大模型的图像数据智能标注以及增强模拟器。 关于这个项目，我们是要对图像进行的包括标注或增强的一系列操作，肯定要基于大模型训练大量的数据，但是在年前我们准备简单地做个GUI界面，使用Python语言。 今天的学习内容：
阅读全文
