2020年5月27日

摘要：问题导读：spark缓存是如何实现的？BlockManager与BlockManagerMaster的关系是什么？这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 def persist(newLevel: StorageLevel): this.type = { // St 阅读全文

posted @ 2020-05-27 14:36 大码王阅读(629) 评论(1) 推荐(0) 编辑

Spark源码系列（四）图解作业生命周期

摘要：问题导读：1.描述作业生命周期？2.资源是如何调度的？这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，let you know！我们先回顾一下这个图，Driver Program是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角阅读全文

posted @ 2020-05-27 14:25 大码王阅读(467) 评论(0) 推荐(0) 编辑

Spark源码系列（三）作业运行过程

摘要：问题导读：1.如何进行作业划分？2.TaskScheduler如何提交Task？ 1、作业执行上一章讲了RDD的转换，但是没讲作业的运行，它和Driver Program的关系是啥，和RDD的关系是啥？官方给的例子里面，一执行collect方法就能出结果，那我们就从collect开始看吧，进入R 阅读全文

posted @ 2020-05-27 14:21 大码王阅读(666) 评论(0) 推荐(0) 编辑

Spark源码系列（二）RDD详解

摘要：问题导读：1.什么是RDD?2.如何实现RDD转换？ 1、什么是RDD？上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。 RDD的全名是Resilient Distributed Dataset，意思是容错阅读全文

posted @ 2020-05-27 11:43 大码王阅读(939) 评论(0) 推荐(0) 编辑

Spark源码系列（一）spark-submit提交作业过程

摘要：问题导读：1.spark是如何提交作业的？2.Akka框架是如何实现的？3.如何实现调度的？前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这阅读全文

posted @ 2020-05-27 11:24 大码王阅读(2236) 评论(0) 推荐(0) 编辑

大数据集群运维（1）Hadoop + Hive + HBase + Kylin伪分布式安装

摘要：问题导读 1. Centos7如何安装配置？ 2. linux网络配置如何进行？ 3. linux环境下java 如何安装？ 4. linux环境下SSH免密码登录如何配置？ 5. linux环境下Hadoop2.7 如何安装？ 6. linux环境下Mysql 如何安装？ 7. linux环境下H 阅读全文

posted @ 2020-05-27 10:11 大码王阅读(436) 评论(0) 推荐(0) 编辑

项目实战从 0 到 1 学习之 Flink（8）大数据之Hudi + Kylin的准实时数仓实现

摘要：问题导读：1、数据库、数据仓库如何理解？2、数据湖有什么用途？解决什么问题？3、数据仓库的加载链路如何实现？4、Hudi新一代数据湖项目有什么优势？在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少锋和 Kylig 阅读全文

posted @ 2020-05-27 09:46 大码王阅读(2058) 评论(0) 推荐(0) 编辑

2020年5月26日

ps入门之photoshop切片工具学习教程（工具箱）（10）

摘要：原始图图片过大，请下载文档。 1.在原图上右键，保存到本地计算机 2.在photoshop中打开这张图片。（文件/打开） 3.在工具箱中选择切片工具（快捷键 K ） 4.选中“切片工具”后，在图片上按住左键拖拽，就出现一个切片。 5.以此类推，再次选择“切片工具”在图片上切出更多切片。 6.如果变阅读全文

posted @ 2020-05-26 18:30 大码王阅读(532) 评论(0) 推荐(0) 编辑

ps入门之photoshop魔棒工具使用教程实例（工具箱知识）（工具箱）（09）

摘要：原图：效果图： 1.在原图上右键，保存到本地计算机 2.在photoshop中打开这张图片。（文件/打开） 3.在工具箱中选择魔棒工具（快捷键 W ） 4.然后用鼠标点击多余的区域，进行选择，如果是选择多个区域，要按住SHIFT。注：如果选错可以在菜单栏找到 “窗口/历史记录” ，在里面恢复之前的阅读全文

posted @ 2020-05-26 18:28 大码王阅读(720) 评论(0) 推荐(0) 编辑

ps入门之photoshop移动工具使用教程（工具箱）（08）

摘要： 1.先把下面这张图片保存，并且打开。 2.使用之前学的磁性套索工具把花选出来。 3.在工具箱中选择移动工具。 4.将光标移动到选区，拖动鼠标左键，将图形移动到所需部分。 5.移动所选择的区域之后，露出了白色的背景色。 6.此时，在使用移动工具时，同时按动Alt键，被选择的部分不会露出背景色，而是对所阅读全文

posted @ 2020-05-26 18:18 大码王阅读(314) 评论(0) 推荐(0) 编辑

ps入门之photoshop裁切工具使用学习教程（工具箱）（07）

摘要：例一：先来学习如何使用PS中的裁切工具来对照片进行重新构图。原图：效果图： 1.在原图上右键，保存到本地计算机 2.在photoshop中打开这张图片。（文件/打开） 3.在工具箱中选择裁切工具（快捷键C） 4.在画面上拖动鼠标，把想保留的部分框出来。 5.按回车键确定即可。例二（分析如何构图）阅读全文

posted @ 2020-05-26 17:25 大码王阅读(414) 评论(0) 推荐(0) 编辑

ps入门之photoshop套索工具的使用方法教程（工具箱）（06）

摘要：原图：效果图 1.还是先复制一层。 2.在工具箱中选择磁性套索工具。 3.使用套索工具把人物选择出来 4.按CTRL+ENTER转换成选区 5.按住SHIFT键，我们会发现套索工具上多出一个“+”号，然后把刚才没套好的地方选出来 6.另外还有一些位置是没办法一次套上的，按住ALT鼠标变成减号，框选阅读全文

posted @ 2020-05-26 16:52 大码王阅读(906) 评论(0) 推荐(0) 编辑

ps入门之photoshop选框工具使用教程（工具箱）（05）

摘要：用照片本身的画面边缘做暗化及半透明处理，里面再钩一圈细细的白线，效果简洁又非常精致。原图效果图 1.在原图上右键，保存到本地计算机2.在photoshop中打开这张图片。（文件/打开）3.给这张图片复制图层，快捷键（CTRL+J）。相关知识点：图层/复制图层——为什么要复制一层？ 4.在工具箱中阅读全文

posted @ 2020-05-26 14:29 大码王阅读(573) 评论(0) 推荐(0) 编辑

ps入门之认识photoshop中的工具箱（工具栏）（04）

摘要：第一次启动Photoshop CS2时，工具箱将出现在屏幕左侧。可通过拖移工具箱的标题栏来移动它。通过选取“窗口” >“工具”，您也可以显示或隐藏工具箱。工具箱中的每一个工具用一个图标来表示,理解为每一个工具的意图和功能是学习Photoshop CS2的关键。在Photoshop CS2的工具箱阅读全文

posted @ 2020-05-26 14:18 大码王阅读(671) 评论(0) 推荐(0) 编辑

ps入门之photoshop文件操作-打开与存储认识（PS界面介绍）如何新建文档（03）

摘要：新建图像的方式可以使用菜单【文件新建】，或快捷键CTRL+N，也可以按住CTRL双击Photoshop的空白区。所谓空白区就是既没有图像也没有调板的地方。点击后将会出现如下图的对话框。现在对其中的内容一个一个来学习。名称就是图像储存时候的文件名，可以在以后储存的时候再输入。预设指的是已经预先定义阅读全文

posted @ 2020-05-26 14:17 大码王阅读(584) 评论(0) 推荐(0) 编辑

ps入门之ps的工作界面的认识学习（界面介绍）界面的组成（02）

摘要： photoshop的界面是由以下6个部分组成的。标题栏标题栏左边显示photoshop的标志和软件名称。右边三个图标分别是最小化、最大化和关闭按钮。菜单栏photoshop菜单栏包括文件、编辑、图像等9个菜单。工具属性栏主要用来显示工具箱中所选用工具的一些延展的选项。选择不同的工具时出现的相应选项也阅读全文

posted @ 2020-05-26 14:14 大码王阅读(1115) 评论(0) 推荐(0) 编辑

ps入门之下载适合自己用的ps软件（01）

摘要：下载适合自己用的ps软件（入门教学）PS软件下载教程，photoshop下载教程，如何选择适合自己的PS软件版本。在选择版本的时候我们需要这几点第一：电脑的性能主要是看你的电脑配置了.配置高可以选高版本.配置低可以选择低版本.下面是一张官方发布的最低配置表,建议大家在下表配置的基础上X2进行选择 P 阅读全文

posted @ 2020-05-26 14:13 大码王阅读(455) 评论(0) 推荐(0) 编辑

云计算是什么？它有哪些形式？

摘要：在 IT 行业，存在一个 15 年周期现象，从 1966 年开始到可预知的未来若干年，可分为 6 个周期，每个周期的技术热点分别如下： 1966—1980 年为大型机时代； 1981—1995 年为个人计算机时代； 1996—2010 年为互联网时代； 2011—2025 年为云计算时代； 2026 阅读全文

posted @ 2020-05-26 11:25 大码王阅读(501) 评论(0) 推荐(0) 编辑

2020年5月22日

TensorFlow从0到1之浅谈深度学习（5）

摘要： DNN（深度神经网络算法）现在是AI社区的流行词。最近，DNN 在许多数据科学竞赛/Kaggle 竞赛中获得了多次冠军。自从 1962 年 Rosenblat 提出感知机（Perceptron）以来，DNN 的概念就已经出现了，而自 Rumelhart、Hinton 和 Williams 在 198 阅读全文

posted @ 2020-05-22 14:43 大码王阅读(324) 评论(0) 推荐(0) 编辑

excel如何快速统计出某一分类的最大值？

摘要：问题：如何统计出某一分类的最大值？解答：利用分类汇总或透视表快速搞定！思路1：利用分类汇总功能具体操作方法如下：选中数据区任意一个单元格，然后点击“数据-分类汇总”按钮。（下图 1 处）。在新弹菜单中选择分类字段为“楼号”，汇总方式为“最大值”，汇总项是“水量”。(下图 2 处) 单击确定阅读全文

posted @ 2020-05-22 09:22 大码王阅读(2729) 评论(0) 推荐(0) 编辑

公告