04 2020 档案

大数据 Hadoop HA
摘要：Hadoop NameNode 高可用 "官方网站" namenode可以手动进行切换也可以使用zookeeper进行自动的切换，下面只有第二种方法。 配置zookeeper 基本环境配置 此时存在多台namenode，这些namenode之间需要进行免密配置。 修改配置文件 1. hdfs sit 阅读全文
posted @ 2020-04-30 22:51 呓语i 阅读(187) 评论(0) 推荐(0)
python 内置方法使用
摘要：进制转换 sorted any all 检查方法 执行 map reduce zip enumerate python查看模块搜索路径 阅读全文
posted @ 2020-04-30 22:49 呓语i 阅读(153) 评论(0) 推荐(0)
Linux Curl使用
摘要："参考网站，转侵删" 阅读全文
posted @ 2020-04-30 16:28 呓语i 阅读(163) 评论(0) 推荐(0)
Linux 文件解压缩
摘要：tar tar cvf filename.tar dirname # 打包, 不压缩 tar xvf filename.tar # 解包 gz tar zcvf filename.tar.gz dirname # 打包压缩, 以 gzip 压缩 GZIP=-9 tar zcvf filename.t 阅读全文
posted @ 2020-04-30 15:29 呓语i 阅读(137) 评论(0) 推荐(0)
大数据 Hadoop 常见端口
摘要：| 组件 | 节点 | 默认端口 | 配置 | 用途说明 | | | | | | | | HDFS | DataNode | 50010 | dfs.datanode.address | datanode服务端口，用于数据传输 | | HDFS | DataNode | 50075 | dfs.da 阅读全文
posted @ 2020-04-29 22:07 呓语i 阅读(561) 评论(0) 推荐(0)
大数据 Hadoop 集群安装
摘要：设置JDK 设置ssh免密登录 安装配置 配置文件 slaves core site.xml hdfs site.xml mapred site.xml yarn site.xml 格式化namenode 启动dfs 查看启动状态 使用 或者在浏览器上输入node1:50070或者node1:808 阅读全文
posted @ 2020-04-29 22:04 呓语i 阅读(92) 评论(0) 推荐(0)
python apscheduler学习
摘要：简单使用 组成部分 触发器（tiggers）:触发器是提供 的逻辑调度，并且每个 都有自己的 ，用于管理任务何时开始执行，除了在初始配置之外， 完全是无状态的。 作业存储（stores）：主要包含的是 的调度任务。默认情况下， 会将任务存储在内存中，也可以将任务存储在数据库中，达到持久存储的效果，存 阅读全文
posted @ 2020-04-29 22:03 呓语i 阅读(323) 评论(0) 推荐(0)
Java8 Lambda
摘要：Java8 函数式编程 在思考问题时，使用不可变值和函数，函数对一个值进行处理，映射成另一个值。 系统的功能应该更多的源自于程序之间的关系，而非程序本身。 lambda表达式 1. lambda 的几种形式 2. Lambda表达式是一个匿名方法，将行为像数据一样进行传递。 3. 函数接口指仅具有单 阅读全文
posted @ 2020-04-29 21:50 呓语i 阅读(172) 评论(0) 推荐(0)
Java Json操作
摘要：FastJson maven Java对象转Json Json转为Java对象 创建 Json 对象 Java对象转Json Json转Java对象 Json对象 "Gson学习文章" 阅读全文
posted @ 2020-04-28 20:38 呓语i 阅读(191) 评论(0) 推荐(0)
python 环境相关
摘要：pip修改 1. 创建 2. 使用 3. 指定下载源 4. 提高下载速度 豆瓣的 阿里云 pyenv 安装 1. 安装 Centos 7 的， 其他平台请参考 "网址" 1.1 自动安装 1.2 文件信息 !/usr/bin/env bash set e [ n "$PYENV_DEBUG" ] & 阅读全文
posted @ 2020-04-28 20:37 呓语i 阅读(165) 评论(0) 推荐(0)
大数据 Hadoop 单机版安装
摘要：1. 安装 JDK 2. 配置本地免登录 3. 关闭防火墙 4. 解压 hadoop 4.1 修改 hadoop env.sh 4.2 修改 core site.xml 4.3 修改 hdfs site.xml 4.4 修改mapred site.xml 4.5 修改 yarn site.xml 5 阅读全文
posted @ 2020-04-28 20:36 呓语i 阅读(212) 评论(0) 推荐(0)
大数据 CDH 6.2 安装
摘要：环境信息 如果是单节点的，建议将虚拟机的内存最小设置为8G，硬盘大小为100G | 类别 | 版本 | 备注 | | | | | | CDH | 6.2.0 | "下载网址" | | 数据库 | mysql 5.7 | | | 系统 | CentOS7 | | | jdk | 1.8 | cdh 修 阅读全文
posted @ 2020-04-28 00:02 呓语i 阅读(714) 评论(0) 推荐(0)
Java8 时间API
摘要：Java8中,java.time主要包含下面几个类 以及java.time.format中的时间格式化类 1. 时间格式化 2. Date和LocalDateTime 1、获取今天的日期 2、指定日期，进行相应操作 3、生日检查或者账单日检查 开发过程中，经常需要为过生日的用户送上一些祝福，例如，用 阅读全文
posted @ 2020-04-28 00:01 呓语i 阅读(204) 评论(0) 推荐(0)
爬虫 puppeteer 登陆企查查
摘要：企查查登陆验证使用的阿里系的滑动验证码，主要检查的是 window.navigator.webdriver 内置属性、鼠标在页面中的事件、浏览器可见性中的宽高（canvas绘制）、滑动过程中坐标轴的变化等信息。 使用puppeteer能很好的模拟页面中的事件，但是在进行测试企查查登陆时，需要浏览器的 阅读全文
posted @ 2020-04-27 23:59 呓语i 阅读(966) 评论(0) 推荐(0)
python 字符串方法
摘要：string 包 | 函数 | 描述 | | | | | string.ascii_letters | 下文所述 ascii_lowercase 和 ascii_uppercase 常量的拼连。 该值不依赖于语言区域。| | string.ascii_lowercase | 小写字母 'abcdef 阅读全文
posted @ 2020-04-26 22:09 呓语i 阅读(231) 评论(0) 推荐(0)
大数据 CDH 5.8 安装
摘要：环境介绍 | 名称 | 安装包 | 下载地址 | | | | | | CM | cloudera manager centos7 cm5.8.5_x86_64.tar.gz | [下载地址] (http://archive.cloudera.com/cm5/cm/5/) | | CDH | CDH 阅读全文
posted @ 2020-04-26 21:18 呓语i 阅读(287) 评论(0) 推荐(0)
Java 单例模式
摘要：单例模式 保证一个类仅有一个实例，并提供一个访问它的全局访问点 饿汉模式 不能惰性初始化，在JVM一开始就会被初始化， 懒汉模式 双重锁检查，避免在多线程情况下创建多个实例，但是如果单例类实现了 接口，可能被反序列化，从而产生新的实例。 静态内部类 将单例类设置为 类型，能够禁止克隆的发生，同样静态 阅读全文
posted @ 2020-04-26 21:16 呓语i 阅读(138) 评论(0) 推荐(0)
python 常用方法
摘要：Set List itertools 无穷迭代器： | 迭代器 | 实参 | 结果 | 示例 | | : | : | : | : | | " " | start, [step] | start, start+step, start+2 step, ... | | | " " | p | p0, p1 阅读全文
posted @ 2020-04-26 20:34 呓语i 阅读(181) 评论(0) 推荐(0)