_再遇见

摘要： Tensorflow一些常用基本概念与函数（三） 摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的数据IO、图的运行等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之三。 1、序言 本文所讲的内容主要为以下相关函数： 操作组 操作 Dat 阅读全文

摘要： 目录： 一、TensorFlow的基本操作 二、tf函数 三、TensorFlow的算术操作 四、张量操作Tensor Transformations 4.1 数据类型转换Casting 4.2 形状操作Shapes and Shaping 4.3 切片与合并（Slicing and Joining 阅读全文

摘要： 一、数据类型 Scala和Java一样，有7种数值类型：Byte、Char、Short、Int、Long、Float、Double和无包装类型Boolean、Uint类型。 注意：Uint表示无值，和其他语言中的void等同。用作不返回任何结果的方法的结果类型。Uint只有一个实例值，写成（） 1. 阅读全文

摘要： 一、基本概念 Docker发部分的操作都是围绕着它的三大核心概念：镜像、容器和仓库。 Dokcer镜像 docker镜像类似于虚拟机镜像，可以理解为一个只读模板。镜像是创建docker容器的基础。 Docker容器 docker容器类似于一个轻量级的沙箱，docker利用容器来运行和隔离应用。容器是 阅读全文

摘要： 在用Hadoop进行大数据分析处理时，通常配置的服务器不止一两台。为了减少人工操作的重复性，所以hadoop提供了可以自动启动Hadoop集群的Shell脚本。在使用Shell脚本启动集群之前，需要进行相应的配置。 说明：$HADOOP_HOME=/root/project/hadoop（根据自己配 阅读全文

摘要： 1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld 开机启用 ： 阅读全文

摘要： 1. 弹性分布式数据集RDD 1.1. RDD概述 1.1.1. 什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性 阅读全文

摘要： 1. Spark集群安装 1.1 机器部署 准备两台以上Linux服务器，安装好JDK 1.2 下载Spark安装包 提前到官网下载相应版本并上传spark-安装包到Linux上 解压安装包到指定位置 1.3 配置Spark 进入到Spark安装目录 进入conf目录并重命名并修改spark-env 阅读全文

摘要： 前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. Flume日志采集框架 1.1 Flume介绍 1.1.1 阅读全文

摘要： 1.1. 什么是HBASE 1.1.1. 概念特性 HBASE是一个数据库 可以提供数据的实时随机读写。HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库） Hbase的表模型与关系型数据库的表模型不同： Hbase的表没有固 阅读全文