02 2020 档案

阅读笔记架构漫谈02
摘要：就架构入门来讲，我觉得本书是非常适合阅读的。首先，什么是架构，又怎么理解架构，然后如何做好架构。先解决其一，架构的来源于社会的分工，同一个事情分解成多个小事情，让擅长的人完成擅长的事情，又快又好的完成部分局部工作，最后组合成一个整体，并完成这个整体所需要的所有活动，这就是架构。架构是一个动词，是解决 阅读全文
posted @ 2020-02-23 19:58 云破月来花弄影 阅读(81) 评论(0) 推荐(0)
质量属性的六个常见属性场景（《淘宝网为例》）
摘要：以《淘宝网》为例，描绘质量属性的六个常见属性场景 可用性：与系统故障及其后果相关。（可用性是指系统正常运行时间的比例 稳定性的指标 出现故障恢复的时间） 场景：双十一购物节 刺激源：大量用户 刺激：短时间内大量用户迅速进入淘宝，系统崩溃 制品：系统崩溃的处理器 环境：正常模式 响应：记录故障，通知系 阅读全文
posted @ 2020-02-23 19:56 云破月来花弄影 阅读(158) 评论(0) 推荐(0)
阅读笔记架构漫谈01
摘要：摘自百度百科：所谓架构师，通俗的说就是设计师或结构设计者，这些定义如果用在建筑学上，则是很容易理解的。在软件工程领域中，软件架构师实际上就是软件项目的总体设计师，是软件组织新产品的开发与集成、新技术体系的构建者。 正如《架构漫谈》作者所说，架构师必须是一个组织的领导人。软件架构师的主要任务并不是从事 阅读全文
posted @ 2020-02-19 16:44 云破月来花弄影 阅读(147) 评论(0) 推荐(0)
寒假自学进度14
摘要：总结一下前几天遇到的问题以及解决方案 1.为什么要将RDD转换为DataFrame？ 因为这样的话，我们就可以直接针对HDFS等任何可以构建为RDD的数据， 使用Spark SQL进行SQL查询了。这个功能是无比强大的。针对HDFS中的数据，直接就可以使用SQL进行查询。 第一种方式，是使用反射来推 阅读全文
posted @ 2020-02-15 20:19 云破月来花弄影 阅读(76) 评论(0) 推荐(0)
寒假自学进度13
摘要：完成了前4个spark基础实验 通过视频教程 学习了retrying模块的使用 处理cookie请求 xpath等爬虫的学习 - HTTP:超文本传输协议 - 以明文的形式传输 - 效率更高，但是不安全- HTTPS:HTTP + SSL(安全套接字层) - 传输之前数据先加密，之后解密获取内容 - 阅读全文
posted @ 2020-02-14 23:18 云破月来花弄影 阅读(91) 评论(0) 推荐(0)
Python引用某一文件的方法出现红色波浪线
摘要：from parse import parse_url#引用parse里面的方法 结果出现波浪线并提示This inspection detects names that should resolve but don't. Due to dynamic dispatch and duck typin 阅读全文
posted @ 2020-02-13 18:26 云破月来花弄影 阅读(1776) 评论(0) 推荐(0)
寒假自学进度11
摘要：1.Could not find a version that satisfies the requirement pyOpenSSL (from versions: none) 原因一：pip版本低 原因二：pip install 包名 -i http://pypi.douban.com/simp 阅读全文
posted @ 2020-02-10 22:14 云破月来花弄影 阅读(99) 评论(0) 推荐(0)
正则表达式（学习）
摘要：在学习Python scala 等过程中我发现都涉及到了正则表达式 然后主要根据菜鸟教程https://www.runoob.com/regexp/regexp-syntax.html进行了学习 这三个比较简单 用的也比较频繁 runoo+b，可以匹配 runoob、runooob、runooooo 阅读全文
posted @ 2020-02-09 23:38 云破月来花弄影 阅读(198) 评论(0) 推荐(0)
寒假自学进度10
摘要：弄了整整一个晚上的sbt然后还是不行 停留在这个界面一动不动 下面这个问题由于上面的问题还待解决。。。（暂时先放弃了 ） 阅读全文
posted @ 2020-02-09 22:59 云破月来花弄影 阅读(89) 评论(0) 推荐(0)
寒假自学进度9
摘要：这两天补充解决了几个问题 IDEA创建maven项目无javahttps://www.cnblogs.com/zzstdruan1707-4/p/12275328.html IDEA无法下载通过maven添加的jar包以及下载网速过慢https://www.cnblogs.com/zzstdruan 阅读全文
posted @ 2020-02-08 23:22 云破月来花弄影 阅读(109) 评论(0) 推荐(0)
解决idea无法下载通过maven添加的jar包以及下载网速过慢的问题
摘要：在idea上使用Maven来添加依赖的jar包 发现无法下载jar包 总是提示某几个包下载失败 最后发现原因有两个（版本与网速的问题 对应解决如下） 一主要是因为版本的问题 我的idea是2019年1月份的 然后下载的maven是最新的3.6.3 经过各种搜索好像是因为版本不兼容然后引起的问题可以通 阅读全文
posted @ 2020-02-08 22:29 云破月来花弄影 阅读(907) 评论(0) 推荐(0)
解决idea创建maven项目无java
摘要：在idea上创建maven-archetype-webapp项目后发现无法创建java文件然后参考此博客得以解决 https://www.cnblogs.com/mywangpingan/p/9448161.html 记录如下： 1.选择File->Project Structure 2.选择Mod 阅读全文
posted @ 2020-02-08 22:25 云破月来花弄影 阅读(1647) 评论(0) 推荐(0)
寒假自学进度8
摘要：这两天主要学习了爬虫（在学习爬虫过程中涉及到了学习maven）（https://www.cnblogs.com/zzstdruan1707-4/p/12267141.html） 以及scala集合 文件 模式匹配 迭代器等操作（磕磕绊绊 没掌握）（补充的第三个实验）（比源代码添加了更多便于理解的注释 阅读全文
posted @ 2020-02-06 22:02 云破月来花弄影 阅读(101) 评论(0) 推荐(0)
Maven安装与学习
摘要：一、安装 1.下载http://maven.apache.org/download.cgi 2.选择zip格式 安装完后解压到某一位置（E:\xitong\major\apache-maven-3.6.3 解压位置即为maven安装目录） 3.配置环境变量 变量名：M2_HOME 变量值：E:\xi 阅读全文
posted @ 2020-02-05 22:52 云破月来花弄影 阅读(255) 评论(0) 推荐(0)
寒假自学进度7
摘要：今天主要学习了scala正则表达式（https://www.runoob.com/scala/scala-regular-expressions.html）与文件I/O操作完成了实验3， 并学习认识了webmagic爬虫（https://www.cnblogs.com/justcooooode/p/ 阅读全文
posted @ 2020-02-04 23:29 云破月来花弄影 阅读(83) 评论(0) 推荐(0)
寒假自学进度6
摘要：今天主要学习了scala基本语法，并完成了scala实验1 2，实验3打算明天用文件操作完成（今天试了一下数组但是这种方法不灵活）后续补充 已补充 1.请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 S 阅读全文
posted @ 2020-02-03 21:23 云破月来花弄影 阅读(177) 评论(0) 推荐(0)
寒假自学进度5
摘要：今天没干多少东西 就是在eclipse上配置scala环境然后解决项目运行出错的问题最后成功运行了简单的scala项目 配置scala环境主要参考这篇博客https://blog.csdn.net/lzxlfly/article/details/80728772 进行到博客里的第4步 点击finis 阅读全文
posted @ 2020-02-02 22:02 云破月来花弄影 阅读(73) 评论(0) 推荐(0)
寒假自学进度4
摘要：今天主要学习了Spark运行基本流程 RDD概念 RDD 中的依赖关系 Spark划分 RDD 在 Spark 架构中的运行过程以及完成实验一Linux系统常用命令 Spark运行基本流程 （1）当一个 Spark Application 被提交时，首先需要为这个应用构建起基本的运行环境， 即由 D 阅读全文
posted @ 2020-02-01 20:32 云破月来花弄影 阅读(136) 评论(0) 推荐(0)