大羽治不了水

2020年10月23日

摘要：一、MYSQL索引 1. 什么是索引：在数据库表中，对字段建立索引可以大大提高查询速度。通过善用这些索引，可以令MySQL的查询和运行更加高效。 2. 常见索引分类：主键索引（primary key): 主键是一种唯一性索引，每个表只能有一个主键，用于标识数据表钟的每一条记录唯一索引（uni 阅读全文

posted @ 2020-10-23 10:04 大羽治不了水阅读(332) 评论(0) 推荐(0) 编辑

2020年10月10日

Anaconda同时安装Python 2和Python 3

摘要：前言科研或者开发过程中，我们免不了需要同时使用Python 2和Python 3。我们可以借助Anaconda（包含了很多实用库的Python发行版）优雅地同时安装不同版本的Python。由于Conda将Python看做跟其他库无异的库，理论上Conda本身就可以管理多个不同版本的Python包。阅读全文

posted @ 2020-10-10 15:48 大羽治不了水阅读(487) 评论(0) 推荐(0) 编辑

Anaconda 的安装教程（图文）

摘要： Anaconda介绍 Anaconda指的是一个开源的Python发行版本，其包含了Python、conda等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda 的下载文件比较大。这么说可能有点抽象，大家可以直接把Anaconda理解为一个python的傻瓜捆绑包。为什么要安装A 阅读全文

posted @ 2020-10-10 15:36 大羽治不了水阅读(1217) 评论(0) 推荐(0) 编辑

python如何通过pyspark的API操作spark

摘要： park安装略，下载解压配置下就OK 我使用的是spark-2.2.0-bin-hadoop2.7 安装完毕后需要配置一下SPARK_HOME: SPARK_HOME=C:\spark\spark-2.2.0-bin-hadoop2.7 Path里也要记得添加一下： Path=XXXX;%SPARK 阅读全文

posted @ 2020-10-10 15:25 大羽治不了水阅读(1465) 评论(0) 推荐(0) 编辑

Python学习笔记之optparse模块OptionParser

摘要：一、基本用法 optparse，是一个更够让程序设计人员轻松设计出简单明了、易于使用、符合标准的Unix命令例程式的Python模块。生成使用和帮助信息首先你必须导入该类，并创建一个OptionParser对象，然后再使用parser.add_option(...)待定义命令行参数，及其帮助文档。阅读全文

posted @ 2020-10-10 15:20 大羽治不了水阅读(146) 评论(0) 推荐(0) 编辑

python 读写json文件(dump, load)，以及对json格式的数据处理(dumps, loads)

摘要： JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 1、json.dumps()和json.loads()是json格式处理函数（可以这么理解，json是字符串） json.dumps()函数是将一个Python数据阅读全文

posted @ 2020-10-10 15:17 大羽治不了水阅读(975) 评论(0) 推荐(0) 编辑

2020年9月18日

Sqoop导入/导出Hive到Mysql中包含自增ID字段/自动写入时间字段

摘要：场景：从Hive导出数据表到Mysql并且Mysql表已创建，其中存在的Mysql表中还有一个Hive中没有的自增ID字段（自动写入时间字段类似这里不再重复叙述）。这种情况怎么使用Sqoop呢？可以使用 --columns参数来指定要导入/导出的字段，其余字段（自增ID/写入时间字段等）Mys 阅读全文

posted @ 2020-09-18 17:45 大羽治不了水阅读(896) 评论(0) 推荐(0) 编辑

Sqoop执行mysql删除语句

摘要：如果使用Sqoop删除mysql中的数据，并且传递动态日期参数，则使用下方的方法：创建一个sh文件，内容如下： #!/bin/sh ## 环境变量生效 . /etc/profile #【调度删除导入所在月数据量】 deletym=$(date -d last-day +%Y%m) sqoop ev 阅读全文

posted @ 2020-09-18 17:43 大羽治不了水阅读(467) 评论(0) 推荐(0) 编辑

2020年8月26日

CDH集群部署最佳实践（转）

摘要：一、集群规划如果你正准备从0开始搭建一套CDH集群应用于生产环境，那么此时需要做的事情应该是结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划，而不是马上动手去安装软件。合理的集群规划应该做到以下几点：充分了解当前的数据现状与业务方深入沟通，了解将会在集群上运行的业务，集群将会为业阅读全文

posted @ 2020-08-26 14:46 大羽治不了水阅读(591) 评论(0) 推荐(0) 编辑

Canal之配置，多库监听

摘要：配置说明介绍配置之前，先了解下canal的配置加载方式： Spring配置 spring配置的原理是将整个配置抽象为两部分： xxxx-instance.xml (canal组件的配置定义，可以在多个instance配置中共享) xxxx.properties (每个instance通道都有各自一阅读全文

posted @ 2020-08-26 10:26 大羽治不了水阅读(4554) 评论(2) 推荐(2) 编辑