11 2020 档案
摘要:1、Python Python 的参数传递是赋值传递 (pass by assignment),或者叫作对象的引用传递(pass by object reference)。Python 里所有的数据类型都是对象,所以参数传递时,只是让新变量与原变量指向相同的对象而已,并不存在值传递或是引用传递一说。
阅读全文
摘要:GNU bash, version 4.4.23 0、前置知识 01、文本结构 1、脚本文件第一行指定解释器,用#!解释器表示 如/bin/bash、/usr/bin/python3 2、第二行为注释,用#修饰 3、其他的自由编写,注释也是 02、执行权限 脚本编写完成后会被执行,执行需要权限 0
阅读全文
摘要:Ubuntu 20.04 1、安装前准备 #查看系统内核版本,版本过低,无法运行docker,不过3.1以上基本都可以了。 ~$ uname -a Linux cgl-Ubuntu 5.4.0-42-generic #46-Ubuntu SMP Fri Jul 10 00:24:02 UTC 202
阅读全文
摘要:centos 7.5 1)、在linux虚拟机上安装docker 步骤: 1、检查内核版本,必须是3.10及以上uname -r 2、安装dockeryum install docker 3、输入y确认安装 4、启动docker[root@localhost ~]# systemctl start
阅读全文
摘要:基于云服务器,端口需要设置安全组 。 1、安装mysql 1)、拉取mysql镜像 docker pull mysql 2)、启动mysql并做端口映射,设置登录密码 这里的mysql01是容器的名字 docker run -p 3306:3306 --name mysql01 -e MYSQL_R
阅读全文
摘要:GO语言和网络编程有关的包都在net包下,通过net包及其子包,可以实现各种协议编程、Socket编程、http编程、rpc编程等。 一、Socket编程 1、Dial函数 Go语言中 Dial() 函数用于创建网络连接,函数原型如下: func Dial(network, address stri
阅读全文
摘要:Go语言标准库中有两个包和DB操作相关,database/sql和database/sql/driver。 sql包提供了保证SQL或类SQL数据库的泛用接口。 driver包定义了应被数据库驱动实现的接口,这些接口会被sql包使用。 一、SQL操作 1、下载驱动 Go语言标准库提供的两个包都是相关
阅读全文
摘要:反射是指在程序运行期对程序本身进行访问和修改的能力。 程序在编译时,变量被转换为内存地址,变量名不会被编译器写入到可执行部分。在运行程序时,程序无法获取自身的信息。 Go中的反射通过reflect包来完成。通过反射,我们能获取到正在运行的程序的所有信息。 通过反射,静态的Go也有了动态语言的特点。
阅读全文
摘要:fmt、os、io\ioutil、bufio包是与系统、文件、输入输出相关的包 一、os包 os包是与操作系统有关的包。 os包提供了操作系统函数的不依赖平台的接口。设计为Unix风格的,虽然错误处理是go风格的;失败的调用会返回错误值而非错误码。通常错误值里包含更多信息。 系统级的操作如获取系统信
阅读全文
摘要:go语言中对多任务的执行基于并发模型,可以简单地理解为交替执行。不同于其他语言的多线程,go基于协程,即goroutine,是一种轻量级的线程。 对于数据的共享,go从语言层次提供了信道channels代替共享内存,当然共享内存go中也是支持的。 一、goroutine goroutine 是 Go
阅读全文
摘要:Go语言是使用包来组织源代码的,并实现命名空间的管理。任何源代码文件必须属于某个包。源码文件的第一行有效代码必须是 package pacakgeName 语句,通过该语句声明自己所在的包。 一、包引用 包通过import xxx进行导入。 标准包的源码位于 $GOROOT/src/ 下面,标准包可
阅读全文
摘要:Spark 可以使用scala、Java、Sql、Python、R语言进行开发。 在bin目录下也提供了spark-shell、spark-sql、sparkR、pyspark等交互方式。 SparkSQL实现了Hive的模型、Hive在新版本中也建议使用Spark作为计算引擎。 一、Spark实现
阅读全文
摘要:前置工具及环境 Hadoop 2.7.3 sqoop 1.4.6 mysql 8 mysql-connector-java-8.0.20.jar java-json.jar 一、简介 Sqoop 是一个常用的数据迁移工具,主要用于在不同存储系统之间实现数据的导入与导出: 导入数据:从 MySQL,O
阅读全文
摘要:go语言中使用error接口处理异常,两个内置函数panic()和recover()以报告和处理运行时错误和程序中的错 误场景,一个defer关键字来处理顺序执行。 一、error异常处理 01、error接口 go语言使用接口error处理异常。 type error interface { Er
阅读全文
摘要:接口是对行为的规范,Go语言中的接口是一组方法的签名,并且是非侵入式的。 Go的接口是一种突破的设计。 一、接口 接口是对行为的规范,比如接口定义了行为,但是接口中没有具体的实现,需要你对行为进行细节的描述。 go中就更简单了,只有一组方法的名字,没有接收器类型,也就没有一大堆的继承实现树图。 只要
阅读全文
摘要:Go语言面向对象及方法 Go不是面向对象语言,但是却可以借助结构体模拟面向对象的特点。结构体在Go语言中的地位等同其他语言中的class。 GO中这样的设计极大地降低了耦合,包括后面所说的接口,基本都是非侵入式的。 一、面向对象 面向对象的基本特征是:继承、封装、多态 Go中的结构体是一种组合式的结
阅读全文
摘要:Go语言中的复杂类型:函数、数组、切片、Map、结构体等 Go语言函数、数组、切片 Go语言中函数,数组这些都是派生类型,也可以说是复杂类型,能够处理更加复杂的数据。 一、函数 函数是基本的代码块,用于执行一个任务。 Go 语言最少有个 main() 函数。 函数声明告诉了编译器函数的名称,返回类型
阅读全文
摘要:Go语言数据类型、输入输出 一、数据类型 Go 语言按类别有以下几种数据类型: 序号 类型和描述 1 布尔型 布尔型的值只可以是常量 true 或者 false。一个简单的例子:var b bool = true。 2 数字类型 整型 int 和浮点型 float32、float64,Go 语言支持
阅读全文
摘要:GO语言安装、变量 简介 Go 是一个开源的编程语言,它能让构造简单、可靠且高效的软件变得容易。 Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发,后来还加入了Ian Lance Taylor, Russ Cox等人,并最终于2009年1
阅读全文
摘要:大数据实践(八)--Hive、Pig安装及基本操作 mysql-connector-java-8.0.16.jar hadoop 2.7.3 hive 2.7.3 pig 0.12.0 一、简介 Hive 是一个构建在 Hadoop 之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类 SQL
阅读全文
摘要:大数据实验(七)Spark单机安装及WordCount(TopKey) 前置环境 Ubuntu 16.04 hadoop 2.7.3 Spark 3.0.0-preview2 scala 2.12.10 (对应Spark版本) maven 3+ spark-core_2.12 (maven中开发Sp
阅读全文
摘要:Python处理Excel Python可以很简介的处理数据,又是可以代替excel做一些繁杂的工作。 Excel有两种格式: XLS是Office 2013或更早版本所使用的格式,是一种二进制格式的文件。XLSX则是用一系列XML文件组成的(最后的X代表了XML)一个压缩包。 1、工具包 Xlsx
阅读全文