摘要:
这次 nuxt.js 服务端部署以docker为基础部署,这样解决以下这些问题: 1. 服务器里一般不搭建运行环境,可以直接以docker里的为环境,统一部署,而不用再次搭建运行环境 2. 常常出现本地没问题,到了服务端上部署时一堆错误,本地和服务器统一用docker里的环境打包部署,解决npm i 阅读全文
摘要:
一。安装gitlab 和 jenkins 直接克隆项目 git clone git@gitee.com:GH16/devops.git 进入项目,直接运行, 等待五分钟左右部署(显示出错也会重启继续初始化) ➜ ~ cd devops ➜ devops git:(master) ls README. 阅读全文
摘要:
有些场合不能用框架自带的排序功能,需要自个实现,记录html文件如下 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>sort</title> <script type="text/javascript" s 阅读全文
摘要:
一。闭包调用 -- Closure::call() php7之前,想要动态的给一个对象添加方法时,可以通过Closure来复制一个闭包对象,并绑定到一个$this对象和类作用域,即 bindTo 。而PHP7增加了新特性Closure::call(), 可以通过call来暂时绑定一个闭包对象到$th 阅读全文
摘要:
更换终端 shell 安装 oh-my-zsh 主题,默认shell为 zsh 而不是 bash 重新打开终端,默认为 zsh 安装Composer 进入官网下载:https://getcomposer.org ,下载最新版本 下载后得到可执行文件 composer.phar 授权所有用户可执行 移 阅读全文
摘要:
一 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Hive是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapRe 阅读全文
摘要:
一。RDD概念 1.1。RDD概述 1.1.1。什么是RDD RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中,对数据的所有操作不外乎创建 RDD、转化已有R 阅读全文
摘要:
一。MapReduce概念 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架; Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。 1.1 为什么要MapRedu 阅读全文
摘要:
一。 HDFS概念 1.1 概念 HDFS是一个分布式文件系统,用于存储文件,通过目录树来定位文件,适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。 1.2 组成 1)HDFS集群包括,NameNode和DataNode以及Secondary Namen 阅读全文
摘要:
一。共享内存模型 共享内存模型指的就是Java内存模型(简称JMM),JMM决定一个线程对共享变量的写入时,能对另一个线程可见。 从抽象的角度来看,JMM定义了线程和主内存之间的抽象关系: 线程之间的共享变量存储在主内存(main memory)中,每个线程都有一个私有的本地内存(local mem 阅读全文