2020 年 5月随笔档案 - wenbin_ouyang

linux-- shell 编程

摘要：目录： 1、shell 是什么 2、shell 脚本的执行方式 3、shell 变量 3.1、系统变量 3.2、自定义变量 3.3、定义变量的规则 3.4、将命令的返回值赋给变量 4、环境变量 5、位置参数变量 6、预定义变量 7、运算符 8、判断语句 9、流程控制 if、elif10、流程控制 c 阅读全文

posted @ 2020-05-31 23:00 wenbin_ouyang 阅读(125) 评论(0) 推荐(0) 编辑

python-- 使用 psycopg2 操作 PostgreSQL 或使用连接池 DBUtils.PooledDB 操作 PostgreSQL

摘要：需要安装的软件和第三方包python need install pip and petl DButils psycopg2 libscommand is:yum install python-pippip install psycopg2pip install petl pip install DB 阅读全文

posted @ 2020-05-29 15:27 wenbin_ouyang 阅读(2527) 评论(0) 推荐(0) 编辑

python-- 使用 MySQLdb 操作 MySQL 或使用连接池 DBUtils.PooledDB 操作 MySQL

摘要：1、使用 MySQLdb 操作 MySQL Python 操作 MySQL 数据库 python不用连接池的MySQL连接方法 import MySQLdb conn= MySQLdb.connect(host='localhost',user='root',passwd='pwd',db='myD 阅读全文

posted @ 2020-05-29 14:57 wenbin_ouyang 阅读(1152) 评论(0) 推荐(0) 编辑

python 解析模块 configparser

摘要：1、生成配置文件 ''' 生成配置文件 ''' import configparser config = configparser.ConfigParser() # 初始化赋值 config["DEFAULT"] = {'ServerAliveInterval': '45', 'Compressio 阅读全文

posted @ 2020-05-29 11:17 wenbin_ouyang 阅读(139) 评论(0) 推荐(0) 编辑

python 基础--日期时间

摘要：目录 1、日期和时间：time 模块2、获取秒级时间戳与毫秒级时间戳、微秒级时间戳3、获取当前日期时间4、将日期转为秒级时间戳5、将秒级时间戳转为日期6、时间格式转成另一种时间格式7、转结构体时间struct_time 1、日期和时间：time 模块 <--返回目录参考：1）https://www 阅读全文

posted @ 2020-05-29 10:40 wenbin_ouyang 阅读(204) 评论(0) 推荐(0) 编辑

vscode设置不展示 .pyc文件

摘要：1) ctrl + shift + p 2) 搜索 settings 3) 在工作目录中加入一下配置文件{ "files.exclude": { "**/.git": true, "**/.svn": true, "**/.hg": true, "**/*.pyc": true, "**/.DS_S 阅读全文

posted @ 2020-05-27 16:09 wenbin_ouyang 阅读(800) 评论(0) 推荐(0) 编辑

Centos7安装python3并与python2共存, 以及安装pip(pip3)

摘要：参考： Centos7安装python3并与python2共存 Centos7安装python3和pip3 python ==> python 2.7.5 python3 ==> python 3.6.2 安装 pip3 linux 和 windows Python pip 安装与使用, 安装包管理阅读全文

posted @ 2020-05-25 15:36 wenbin_ouyang 阅读(430) 评论(0) 推荐(0) 编辑

vmware 安装 centos7 及网络配置，永久修改主机名

摘要：目录： 1、下载 centos72、vmware 安装 centos7 的步骤3、配置网络环境 3.1、虚拟机 ip 如何确定 3.2、centos7 配置静态 ip 4、修改主机名，永久生效 1、下载 centos7 <-- 返回目录 http://mirrors.aliyun.com/cent 阅读全文

posted @ 2020-05-24 15:22 wenbin_ouyang 阅读(2214) 评论(0) 推荐(0) 编辑

VMware虚拟机ubuntu显示屏幕太小解决办法，安装 VM tools

摘要：总结： 1）安装 Ubuntu 时先不配置 ubuntu.iso 安装镜像，选择 install later（这样后面就不会出现 Easy Install 的问题）； 2）查看虚拟机CD ROM 是否加载 # apt-get update # apt-get upgrade # apt-get i 阅读全文

posted @ 2020-05-21 13:08 wenbin_ouyang 阅读(978) 评论(0) 推荐(0) 编辑

Linux下文件 ~/.bashrc 和 ~/.bash_profile 和 /etc/bashrc 和 /etc/profile 的区别 | 用户登录后加载配置文件的顺序

摘要：Linux下文件 ~/.bashrc 和 ~/.bash_profile 和 /etc/bashrc 和 /etc/profile 的区别 | 用户登录后加载配置文件的顺序 /ect/profile 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile. 阅读全文

posted @ 2020-05-19 16:05 wenbin_ouyang 阅读(338) 评论(0) 推荐(0) 编辑

RabbitMQ 安装及启动报错 Error description： noproc 及 epmd error for host pg01: address (cannot connect to host/port)解决办法

摘要：erlang 版本和 rabbitmq 版本需要匹配安装，windows和centos安装参考： 1）Windows 下安装RabbitMQ服务器及基本配置 2）centos7安装：企业级消息队列 RabbitMQ 3）本文：RabbitMQ 安装及启动报错 Error description：阅读全文

posted @ 2020-05-19 14:00 wenbin_ouyang 阅读(2138) 评论(0) 推荐(0) 编辑

CentOS使用yum指令显示"ImportError: No module named site"错误

摘要：CentOS使用yum指令显示"ImportError: No module named site"错误。 1.打开终端 2.输入指令unset PYTHONPATH unset PYTHONHOME 其他参考： 1）解决问题：启动Python时报“ImportError: No module na 阅读全文

posted @ 2020-05-18 09:15 wenbin_ouyang 阅读(2162) 评论(0) 推荐(0) 编辑

gpstop error: postmaster.pid file does not exist. is Greenplum instance already stopped

摘要：在目录 /data/gpmaster/gpseg-1 下查看 “postmaster.pid” 是否存在不存在，pgstart 启动试试阅读全文

posted @ 2020-05-18 08:58 wenbin_ouyang 阅读(2075) 评论(0) 推荐(0) 编辑

centos7 安装企业级消息队列 RabbitMQ

摘要：erlang 版本和 rabbitmq 版本需要匹配安装，windows和centos安装参考： 1）Windows 下安装RabbitMQ服务器及基本配置 2）本文：企业级消息队列 RabbitMQ 1.简介 MQ 全称为 Message Queue，消息队列（MQ）是一种应用程序对应用程序的通阅读全文

posted @ 2020-05-15 23:44 wenbin_ouyang 阅读(323) 评论(0) 推荐(0) 编辑

airflow入门demo

摘要：1）Airflow 入门及使用 2）Airflow 入门教程&示例阅读全文

posted @ 2020-05-15 19:04 wenbin_ouyang 阅读(407) 评论(0) 推荐(0) 编辑

airflow + mysql（CentOS7安装MySQL（完整版））

摘要：目录：1、centos7.8 安装 mysql 5.72、mysql-airflow 的配置3、可能遇到的问题3.1、初始化 mysql 数据库时 ModuleNotFoundError: No module named 'MySQLdb' 3.2、安装mysql-devel出错 1、centos7 阅读全文

posted @ 2020-05-15 18:34 wenbin_ouyang 阅读(1834) 评论(0) 推荐(0) 编辑

Failed building wheel for psycopg2

摘要：1、linux 平台使用 airflow 初始化 “airflow initdb” 时，报psycopg2模块找不到。安装 psycopg2，报 Failed building wheel for psycopg2 pip install psycopg2 -i https://pypi.dou 阅读全文

posted @ 2020-05-15 15:42 wenbin_ouyang 阅读(1130) 评论(0) 推荐(0) 编辑

centos7 安装 airflow（安装 centos7、python3.6、mysql5.7、airflow）

摘要：目录： 1、centos7 安装 apache-airflow 1.1、下载安装 centos7 1.2、centos7 安装 python3 1.3、centos7 安装 mysql 1.4、安装 airflow 1.5、初始化数据库表（默认使用本地的sqlite数据库） 1.6、启动 airfl 阅读全文

posted @ 2020-05-15 14:52 wenbin_ouyang 阅读(2057) 评论(0) 推荐(0) 编辑

linux 和 windows Python pip 安装与使用, 安装包管理器 distribute

摘要：1、linux 上安装原来python2.7自带pip工具，但是执行 pip uninstall Flask 后导致 pip命令找不到。下面重新安装pip查看 python版本：python --version 通过以下命令来判断是否已安装pip:pip --version。如果没有，使用以下方法阅读全文

posted @ 2020-05-15 14:47 wenbin_ouyang 阅读(1173) 评论(0) 推荐(0) 编辑

Greenplum 解决 gpstop -u 指令报错

摘要：解决 gpstop -u 指令报错：gpstop failed. (Reason='[Errno 2] No such file or directory: '/data/gpmaster/postgresql.conf'') exiting 另外，参考： 1) Greenplum学习笔记（1）远程阅读全文

posted @ 2020-05-15 13:13 wenbin_ouyang 阅读(1758) 评论(0) 推荐(0) 编辑

python使用pip安装模块出现ReadTimeoutError: HTTPSConnectionPool的解决方法（pip使用豆瓣源）

摘要：今天使用pip安装第三库时，有时会报错： pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out. 使用阅读全文

posted @ 2020-05-15 12:33 wenbin_ouyang 阅读(509) 评论(0) 推荐(0) 编辑

yum安装(卸载)本地rpm包的方法(卸载本地安装的greenplum 5.19.rpm)

摘要：1、先查看是否有版本： #rpm -qa|grep jdk 2、再卸载 #yum remove Java-*-openjdk –y #yum remove java-1.8.0-openjdk-headless-1.8.0.91-1.b14.el6.x86_64-y 卸载 greenplum: yu 阅读全文

posted @ 2020-05-14 09:07 wenbin_ouyang 阅读(1542) 评论(0) 推荐(0) 编辑

Java JUC（java.util.concurrent工具包）

摘要：目录: 1、volatile 关键字与内存可见性2、原子变量与 CAS 算法3、同步容器类4、闭锁 CountDownLatch5、使用 Callable 创建线程6、Lock 同步锁7、生产者消费者案例--虚假等待8、线程按序交替执行9、读写锁 ReadWriteLock10、线程八锁11、线程池阅读全文

posted @ 2020-05-05 19:28 wenbin_ouyang 阅读(393) 评论(0) 推荐(0) 编辑

netty 详解（八）基于 Netty 模拟实现 RPC

摘要：1、RPC 基本介绍 RPC(Remote Procedure Call) 远程过程调用，是一个计算机通信协议，该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而程序无需额外地为这个交互作用编程。两个或多个应用程序都分布在不同的服务器上，它们之间的调用都像是本地方法调用一样。 RPC 调阅读全文

posted @ 2020-05-05 01:38 wenbin_ouyang 阅读(512) 评论(0) 推荐(0) 编辑

netty 详解（七）netty 自定义协议解决 TCP 粘包和拆包

摘要：目录： 1、TCP 粘包和拆包基本介绍2、TCP 粘包和拆包实例演示3、netty 自定义协议解决 TCP 粘包和拆包 1、TCP 粘包和拆包基本介绍 <--返回目录 TCP 是面向连接的，面向流的，提供高可靠性服务，收发两端（客户端和服务器端）都要一一成对的 socket。因此发送端为了将多个阅读全文

posted @ 2020-05-05 00:57 wenbin_ouyang 阅读(1537) 评论(0) 推荐(0) 编辑

netty 详解（六）netty 自定义编码解码器

摘要：上一篇博客：netty 使用 protobuf 序列化，本篇将自定义编码解码器，对数据传输过程进行“入站解码，出站编码”。服务端接收的是字节数据，通过“入站解码”，得到知道格式的数据；服务器发送指定格式数据通过 “出站编码” 转换成字节数据，然后发送给客户端；客户端类似； ChannelPi 阅读全文

posted @ 2020-05-04 17:10 wenbin_ouyang 阅读(3754) 评论(0) 推荐(0) 编辑

netty 详解（五）netty 使用 protobuf 序列化

摘要：目录： 1、编码和解码2、Google Protobuf 介绍3、案例--netty 使用 protobuf 序列化 3.1、编写 .proto 文件 3.2、自动生成代码 3.3、netty 通过 Protobuf 传递消息4、netty 使用 protobuf 传输多种类型对象 1、编码和解码阅读全文

posted @ 2020-05-04 04:35 wenbin_ouyang 阅读(7449) 评论(0) 推荐(1) 编辑

netty 详解（四）netty 开发 WebSocket 长连接程序

摘要：WSServer package com.oy.ws; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.*; import io.netty.channel.nio.NioEventLoopGroup; impor 阅读全文

posted @ 2020-05-04 03:55 wenbin_ouyang 阅读(1441) 评论(0) 推荐(0) 编辑

netty 详解（三）netty 心跳检测机制案例

摘要：当服务器超过 3 秒没有读时，提示“读空闲”；当服务器超过 5 秒没有写操作时，提示“写空闲”；当服务器超过 7 秒没有读或者写操作时，提示“读写空闲”。 HeartBeatServer package com.oy.heartbeat; import io.netty.bootstrap.Ser 阅读全文

posted @ 2020-05-04 02:15 wenbin_ouyang 阅读(381) 评论(0) 推荐(0) 编辑

netty 详解（二）netty 实现群聊

摘要：服务端 Server package com.oy.groupchat; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; import io.netty.channel.Channel 阅读全文

posted @ 2020-05-04 01:23 wenbin_ouyang 阅读(570) 评论(0) 推荐(0) 编辑

netty 详解（一）架构设计、异步模型、任务队列、入门案例

摘要：目录： 1、netty 是什么2、netty 架构设计 2.1、线程模型 2.2、传统阻塞 I/O 服务模型 2.3、Reactor 模式 2.4、单 Reactor 单线程 2.5、单 Reactor 多线程 2.6、主从 Reactor 多线程 2.7、Netty工作原理架构图3、Netty 编阅读全文

posted @ 2020-05-02 22:52 wenbin_ouyang 阅读(1187) 评论(0) 推荐(0) 编辑

导航

统计

公告

搜索

常用链接

随笔档案

05 2020 档案