摘要：一、get请求： 1、使用curl命令： curl “http://www.baidu.com” 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地 curl -i “http://www.baidu.com” 显示全部信息 curl -l “http://www.baidu.com” 阅读全文

摘要：第一类：数据库中的数据导入到HDFS上 # sqoop import --connect jdbc:mysql://hdp-server-01:3306/baba --username root --password root --table bbs_detail 指定输出路径、指定数据分隔符 # 阅读全文

摘要：1 2 3 javax.jdo.option.ConnectionURL 4 jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true 5 6 7 8 javax.jdo.option.ConnectionDriverName 9 com.mysql.jdbc.Driver 10 ... 阅读全文

摘要：代码 转载：https://blog.csdn.net/qq_33039859/article/details/73440782 阅读全文

摘要：在spark中，我们知道一切的操作都是基于RDD的。在使用中，RDD有一种非常特殊也是非常实用的format——pair RDD，即RDD的每一行是（key, value）的格式。这种格式很像Python的字典类型，便于针对key进行一些处理。 针对pair RDD这样的特殊形式，spark中定义了 阅读全文

摘要：assert repr() 阅读全文

摘要：前言 本文实现的这个需求其实十分普遍，举例来说，我们存在一个用户来源表，用来标记用户从哪个渠道注册进来。表结构如下所示… 其中 origin 是用户来源，其中的值有 iPhone 、Android 、Web 三种，现在需要分别统计由这三种渠道注册的用户数量。 解决方案1 ? 1 2 3 4 5 6 阅读全文

摘要：1、Namenode元数据两种映射：（1）文件名 -> block数据块的映射（2）block数据块 -> datanode节点地址的映射细节：（1）是持久化到NN的磁盘的（fsimage<-edits log<-NN内存变化），（2）通过心跳组织起来的（DN->NN） 2、就目前我们的环境（1个m 阅读全文

摘要：1. 通过script标签引入url 比如如下代码： 访问该链接，我们可以看到网页返回的是一段语句： 所以第一段js代码就相当于 所以我们在后面就可以访问这个json变量并读取它的数据了。 阅读全文

摘要：1. 参数 首先比较二者的参数部分： np.max：(a, axis=None, out=None, keepdims=False) 求序列的最值 最少接收一个参数 axis：默认为列向（也即 axis=0），axis = 1 时为行方向的最值； np.maximum：(X, Y, out=None 阅读全文

摘要：ASCII值控制字符ASCII值控制字符ASCII值控制字符ASCII值控制字符 0 NUT 32 (space) 64 @ 96 、 1 SOH 33 ! 65 A 97 a 2 STX 34 " 66 B 98 b 3 ETX 35 # 67 C 99 c 4 EOT 36 $ 68 D 100 阅读全文

摘要：ord()函数主要用来返回对应字符的ascii码，chr()主要用来表示ascii码对应的字符他的输入时数字，可以用十进制，也可以用十六进制。 比如生成一个字母表list，我们就可以这样： 阅读全文

摘要：一、random模块简介 Python标准库中的random函数，可以生成随机浮点数、整数、字符串，甚至帮助你随机选择列表序列中的一个元素，打乱一组数据等。 二、random模块重要函数 1 )、random() 返回0<=n<1之间的随机实数n；2 )、choice(seq) 从序列seq中返回随 阅读全文

摘要：日志格式： 日志种类： 阅读全文

摘要：简介： 基于Tensorflow的NN：用张量表示数据；用计算图搭建神经网络；用会话执行计算图；优化线上的权重（参数），得到模型。 张量（tensor）：多维数组（列表） 阶：张量的维数 数据类型：tf.float32 tf.float64 .... 计算图（graph）：搭建神经网络的计算过程，只 阅读全文