04 2018 档案

Linux系统如何模拟Http的get或post请求?
摘要:一、get请求: 1、使用curl命令: curl “http://www.baidu.com” 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地 curl -i “http://www.baidu.com” 显示全部信息 curl -l “http://www.baidu.com” 阅读全文

posted @ 2018-04-24 16:10 NothingLZ 阅读(8128) 评论(0) 推荐(0)

sqoop上传数据到hdfs,并用hive管理数据。
摘要:第一类:数据库中的数据导入到HDFS上 # sqoop import --connect jdbc:mysql://hdp-server-01:3306/baba --username root --password root --table bbs_detail 指定输出路径、指定数据分隔符 # 阅读全文

posted @ 2018-04-21 12:29 NothingLZ 阅读(274) 评论(0) 推荐(0)

配置hive元数据数据库
摘要:1 2 3 javax.jdo.option.ConnectionURL 4 jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true 5 6 7 8 javax.jdo.option.ConnectionDriverName 9 com.mysql.jdbc.Driver 10 ... 阅读全文

posted @ 2018-04-21 11:19 NothingLZ 阅读(227) 评论(0) 推荐(0)

利用pandas将numpy数组导出生成excel
摘要:代码 转载:https://blog.csdn.net/qq_33039859/article/details/73440782 阅读全文

posted @ 2018-04-18 23:10 NothingLZ 阅读(7542) 评论(0) 推荐(0)

reduceByKey和groupByKey区别与用法
摘要:在spark中,我们知道一切的操作都是基于RDD的。在使用中,RDD有一种非常特殊也是非常实用的format——pair RDD,即RDD的每一行是(key, value)的格式。这种格式很像Python的字典类型,便于针对key进行一些处理。 针对pair RDD这样的特殊形式,spark中定义了 阅读全文

posted @ 2018-04-18 20:35 NothingLZ 阅读(1845) 评论(0) 推荐(0)

python一些东西
摘要:assert repr() 阅读全文

posted @ 2018-04-18 00:01 NothingLZ 阅读(154) 评论(0) 推荐(0)

mysql查询相关问题
摘要:前言 本文实现的这个需求其实十分普遍,举例来说,我们存在一个用户来源表,用来标记用户从哪个渠道注册进来。表结构如下所示… 其中 origin 是用户来源,其中的值有 iPhone 、Android 、Web 三种,现在需要分别统计由这三种渠道注册的用户数量。 解决方案1 ? 1 2 3 4 5 6 阅读全文

posted @ 2018-04-17 14:30 NothingLZ 阅读(148) 评论(0) 推荐(0)

hdfs1.0和2.0复习
摘要:1、Namenode元数据两种映射:(1)文件名 -> block数据块的映射(2)block数据块 -> datanode节点地址的映射细节:(1)是持久化到NN的磁盘的(fsimage<-edits log<-NN内存变化),(2)通过心跳组织起来的(DN->NN) 2、就目前我们的环境(1个m 阅读全文

posted @ 2018-04-17 09:22 NothingLZ 阅读(832) 评论(0) 推荐(0)

利用js获取客户端ip的方法
摘要:1. 通过script标签引入url 比如如下代码: 访问该链接,我们可以看到网页返回的是一段语句: 所以第一段js代码就相当于 所以我们在后面就可以访问这个json变量并读取它的数据了。 阅读全文

posted @ 2018-04-10 16:56 NothingLZ 阅读(372) 评论(0) 推荐(0)

numpy使用
摘要:1. 参数 首先比较二者的参数部分: np.max:(a, axis=None, out=None, keepdims=False) 求序列的最值 最少接收一个参数 axis:默认为列向(也即 axis=0),axis = 1 时为行方向的最值; np.maximum:(X, Y, out=None 阅读全文

posted @ 2018-04-03 23:32 NothingLZ 阅读(169) 评论(0) 推荐(0)

ASCII码对照表
摘要:ASCII值控制字符ASCII值控制字符ASCII值控制字符ASCII值控制字符 0 NUT 32 (space) 64 @ 96 、 1 SOH 33 ! 65 A 97 a 2 STX 34 " 66 B 98 b 3 ETX 35 # 67 C 99 c 4 EOT 36 $ 68 D 100 阅读全文

posted @ 2018-04-02 17:10 NothingLZ 阅读(235) 评论(0) 推荐(1)

python ord()与chr()用法以及区别
摘要:ord()函数主要用来返回对应字符的ascii码,chr()主要用来表示ascii码对应的字符他的输入时数字,可以用十进制,也可以用十六进制。 比如生成一个字母表list,我们就可以这样: 阅读全文

posted @ 2018-04-02 17:04 NothingLZ 阅读(2376) 评论(0) 推荐(0)

Python random模块sample、randint、shuffle、choice随机函数
摘要:一、random模块简介 Python标准库中的random函数,可以生成随机浮点数、整数、字符串,甚至帮助你随机选择列表序列中的一个元素,打乱一组数据等。 二、random模块重要函数 1 )、random() 返回0<=n<1之间的随机实数n;2 )、choice(seq) 从序列seq中返回随 阅读全文

posted @ 2018-04-02 17:01 NothingLZ 阅读(261) 评论(0) 推荐(0)

日志相关
摘要:日志格式: 日志种类: 阅读全文

posted @ 2018-04-02 16:24 NothingLZ 阅读(131) 评论(0) 推荐(0)

tensorflow学习笔记
摘要:简介: 基于Tensorflow的NN:用张量表示数据;用计算图搭建神经网络;用会话执行计算图;优化线上的权重(参数),得到模型。 张量(tensor):多维数组(列表) 阶:张量的维数 数据类型:tf.float32 tf.float64 .... 计算图(graph):搭建神经网络的计算过程,只 阅读全文

posted @ 2018-04-02 09:58 NothingLZ 阅读(266) 评论(0) 推荐(0)

导航