摘要： 常见的六个质量属性:可用性、可修改性、性能、安全性、可测试性、易用性。质量属性场景是一种面向特定的质量属性的需求，由6部分组成：刺激源、刺激、环境、制品、响应、响应度量。 以《淘宝网》为例： (1)可用性: 场景：天猫双十一购物狂欢节 刺激源：海量用户 刺激：过多用户涌入抢购，系统出现崩溃的状态 制 阅读全文

摘要： 之前我写过几篇博客，关于《架构漫谈》读后感，书中详细阐述了什么是架构，为什么要架构，如何架构三大核心问题。 那么什么是架构呢？ 首先，要根据需要解决的问题，对目标系统的边界进行界定。然后对目标系统按某个原则进行切分，并且使这些部分可以进行有机的联系，完成目标系统的所有工作。 架构设计一般分为三个阶段 阅读全文

摘要： 到目前为止，主要完成了地域维度标准化和关键值的提取。 地域维度标准化主要是根据表中联系单位地址一栏给出的详细地区数据，进行字符串分割得到想要的地域维度。 联系单位地址栏原始数据： 我们要把这些地域信息规范到县区一级，就可以用java中的split函数进行分割，就可以得到标准地域维度。 接下来就是行政 阅读全文

摘要： 本周主要看了机器学习的内容，基于大创项目的要求，看了一些关于图像处理的代码，学会了使用opencv。 大数据处理方面，学会了用datax操作表到表的数据传输，csv到sql表的数据传输和清洗，access数据库到sql的数据传输。 kettle相较于datax有可视化的界面，配置相对简单，但是处理速 阅读全文

摘要： github官方文档和项目：https://github.com/alibaba/DataX 下载后在windows环境下是可以直接用python编译执行的，但从github上下载的版本只支持python2.x版本，而现在python3.x正流行，这给我们带来不少麻烦。 在查找资料后我找到了解决办法 阅读全文

摘要： 本篇博客参考《信息领域热词分析》，设计实现可测试性战术。 首先我们要了解一下可测试性，软件可测试性是指通过测试（通常是基于运行的测试）揭示软件缺陷的容易程度。 接下来就介绍在项目开发中运用的可测试性战术： 1.面向对象编程 作为一名软件工程的学生，我们都知道编码原则： 单一责任原则 开放/封闭原则 阅读全文

摘要： 软件架构是软件开发中一个非常非常重要的过程。我们都知道在一个软件开发项目中，软件架构师是一个团队的核心，他负责整个软件开发的分工和沟通的安排，组织整个 团队进行分工合作，高效率的完成软件开发任务。 在之前的代码编写中，大多数是自己独立开发，编写代码和测试代码。从来没有加入过实际项目开发过程，也少有团 阅读全文

摘要： 接上次的python爬虫进阶，这次学习了针对一些网站的反爬虫处理方式以及用键值对向url传递参数，模拟人工输入的网页搜索。 我们知道，不管是正常的爬虫还是恶意爬虫，不仅会导致网站信息泄露，而且还会导致服务器压力过大。想象一下，一台计算机模拟人工请求访问服务器，并且与以计算机的速度与服务器进行交互，势 阅读全文

摘要： 今天主要学习了python爬虫的一些进阶内容，因为我对这部分内容比较感兴趣，就去b站上找了北理工的mooc视频。老师讲课深入浅出，循循渐进，十分适合新手学习爬虫，其中还包含了基本规范和道德，称作“盗亦有道”。 之前看过一些爬虫视频，一些老师上手就是开始干货，上代码爬数据。随便找一个网站就开始爬取自己 阅读全文

摘要： 今天主要看了林子雨老师的spark基础和scala基础。 基本学会了scala基本语法和spark的简单使用，与scala的结合。 明天根据spark实验进一步深化学习。 阅读全文