摘要:
一、实验目的 (1) 通过实验掌握 Spark SQL 的基本编程方法; (2) 熟悉 RDD 到 DataFrame 的转化方法; (3) 熟悉利用 Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统: Ubuntu16.04 Spark 版本:2.1.0 数据库:MySQL 阅读全文
随笔档案-2019年03月
系统质量属性之——性能
2019-03-25 23:07 by 默默不语, 866 阅读, 收藏, 编辑
摘要:
今天软件体系架构课程讨论了关于系统质量属性之性能,以及同学提出一些关于系统性能的问题,下面是对性能的一些介绍以及对同学提出关于性能问题的总结。 性能是指系统的响应能力,即对外部刺激(事件)做出反应时所需要的时间或在某段时间内所处理的事件个数。一般我们会用等待时间、处理期限、系统吞吐量、响应抖动、未处 阅读全文
《信息技术手册查重错误比对分析》开发记录7
2019-03-25 18:52 by 默默不语, 460 阅读, 收藏, 编辑
摘要:
今天的任务是实现热词的自动分类展示,将每个热词自动创建关键字、模糊检索两个字段便于检索。 时间:2小时 阅读全文
《信息技术手册查重错误比对分析》开发记录6
2019-03-24 21:50 by 默默不语, 296 阅读, 收藏, 编辑
摘要:
今天的任务是让每个热词自动分类展示,先在在网上学习常用自然语言处理和分析技术。 时间:2小时 阅读全文
《信息技术手册查重错误比对分析》开发记录5
2019-03-23 19:43 by 默默不语, 394 阅读, 收藏, 编辑
摘要:
昨天可以实现将Word文档导入MySQL数据库中,今天的任务是实现热词自动分类。 时间:3小时 阅读全文
《信息技术手册查重错误比对分析》开发记录4
2019-03-22 12:36 by 默默不语, 190 阅读, 收藏, 编辑
摘要:
今天的任务还是利用POI根据Word样式提取Word文档内容 借鉴博客地址是https://blog.csdn.net/qq_16601953/article/details/82415518 时间:3小时 阅读全文
《信息技术手册查重错误比对分析》开发记录3
2019-03-21 22:33 by 默默不语, 194 阅读, 收藏, 编辑
摘要:
今天的任务是如何将Word内容标题、正文内容分开。初步思路是将提取出来的标题分别放到数组中,网上有的说可以设置Word样式,正在学习。 时间:3小时。 阅读全文
《信息技术手册查重错误比对分析》开发记录2
2019-03-20 22:50 by 默默不语, 218 阅读, 收藏, 编辑
摘要:
昨天先考虑了一下如何开发,将问题拆解后每一步实现什么内容,以及数据库表的设计。 今天的任务是实现Java对Word文档的读取及操作。大概用了三个小时。开发使用Apache 的POI进行对Word文档的操作。 遇到的问题是如何将Word文档的内容分开,如何分出一级标题、二级标题、正文等。 阅读全文
《信息技术手册查重错误比对分析》开发记录1
2019-03-19 20:45 by 默默不语, 295 阅读, 收藏, 编辑
摘要:
项目名称:信息技术手册查重错误比对分析 功能概述: (1) 数据导入:要求将提供的信息技术手册文档倒入数据库中 (2) 数据分类:将手册涉及的热词自动分类展示,将每个热词自动创建关键字、模糊检索两个字段便于检索; (3)数据查重错误分析报告:按照提供的维普论文检测报告的形式,将信息技术手册中的所有词 阅读全文
以《淘宝网》为例,描绘质量属性的六个常见属性场景
2019-03-15 19:08 by 默默不语, 336 阅读, 收藏, 编辑
摘要:
以淘宝双十一、双十二、女神节等各种购物节为例描述质量属性的的六个常见场景: 1.可用性 场景:女神节时大量用户同时访问淘宝网,导致系统崩溃。 刺激源:淘宝用户 刺激:大量用户同时进行登录、查询、购买等操作,导致淘宝无响应。 环境:用户进行正常操作。 制品:系统服务器、存储器等。 响应:系统响应人数过 阅读全文