会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
只要开始就不晚
博客园
首页
博问
闪存
新随笔
订阅
管理
2020年10月23日
索引、视图、存储过程
摘要: 一、MYSQL索引 1. 什么是索引: 在数据库表中,对字段建立索引可以大大提高查询速度。通过善用这些索引,可以令MySQL的查询和 运行更加高效。 2. 常见索引分类: 主键索引(primary key): 主键是一种唯一性索引,每个表只能有一个主键,用于标识数据表钟的每一条记录 唯一索引(uni
阅读全文
posted @ 2020-10-23 10:04 大羽治不了水
阅读(332)
评论(0)
推荐(0)
编辑
2020年10月10日
Anaconda同时安装Python 2和Python 3
摘要: 前言 科研或者开发过程中,我们免不了需要同时使用Python 2和Python 3。我们可以借助Anaconda(包含了很多实用库的Python发行版)优雅地同时安装不同版本的Python。由于Conda将Python看做跟其他库无异的库,理论上Conda本身就可以管理多个不同版本的Python包。
阅读全文
posted @ 2020-10-10 15:48 大羽治不了水
阅读(487)
评论(0)
推荐(0)
编辑
Anaconda 的安装教程(图文)
摘要: Anaconda介绍 Anaconda指的是一个开源的Python发行版本,其包含了Python、conda等180多个科学包及其依赖项。 因为包含了大量的科学包,Anaconda 的下载文件比较大。这么说可能有点抽象,大家可以直接把Anaconda理解为一个python的傻瓜捆绑包。为什么要安装A
阅读全文
posted @ 2020-10-10 15:36 大羽治不了水
阅读(1217)
评论(0)
推荐(0)
编辑
python如何通过pyspark的API操作spark
摘要: park安装略,下载解压配置下就OK 我使用的是spark-2.2.0-bin-hadoop2.7 安装完毕后需要配置一下SPARK_HOME: SPARK_HOME=C:\spark\spark-2.2.0-bin-hadoop2.7 Path里也要记得添加一下: Path=XXXX;%SPARK
阅读全文
posted @ 2020-10-10 15:25 大羽治不了水
阅读(1465)
评论(0)
推荐(0)
编辑
Python学习笔记之optparse模块OptionParser
摘要: 一、基本用法 optparse,是一个更够让程序设计人员轻松设计出简单明了、易于使用、符合标准的Unix命令例程式的Python模块。生成使用和帮助信息 首先你必须导入该类,并创建一个OptionParser对象,然后再使用parser.add_option(...)待定义命令行参数,及其帮助文档。
阅读全文
posted @ 2020-10-10 15:20 大羽治不了水
阅读(146)
评论(0)
推荐(0)
编辑
python 读写json文件(dump, load),以及对json格式的数据处理(dumps, loads)
摘要: JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 1、json.dumps()和json.loads()是json格式处理函数(可以这么理解,json是字符串) json.dumps()函数是将一个Python数据
阅读全文
posted @ 2020-10-10 15:17 大羽治不了水
阅读(975)
评论(0)
推荐(0)
编辑
2020年9月18日
Sqoop导入/导出Hive到Mysql中包含自增ID字段/自动写入时间字段
摘要: 场景: 从Hive导出数据表到Mysql并且Mysql表已创建,其中存在的Mysql表中还有一个Hive中没有的自增ID字段(自动写入时间字段类似这里不再重复叙述)。 这种情况怎么使用Sqoop呢? 可以使用 --columns参数来指定要导入/导出的字段,其余字段(自增ID/写入时间字段等)Mys
阅读全文
posted @ 2020-09-18 17:45 大羽治不了水
阅读(896)
评论(0)
推荐(0)
编辑
Sqoop执行mysql删除语句
摘要: 如果使用Sqoop删除mysql中的数据,并且传递动态日期参数,则使用下方的方法: 创建一个sh文件,内容如下: #!/bin/sh ## 环境变量生效 . /etc/profile #【调度删除导入所在月数据量】 deletym=$(date -d last-day +%Y%m) sqoop ev
阅读全文
posted @ 2020-09-18 17:43 大羽治不了水
阅读(467)
评论(0)
推荐(0)
编辑
2020年8月26日
CDH集群部署最佳实践(转)
摘要: 一、集群规划 如果你正准备从0开始搭建一套CDH集群应用于生产环境,那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划,而不是马上动手去安装软件。 合理的集群规划应该做到以下几点: 充分了解当前的数据现状 与业务方深入沟通,了解将会在集群上运行的业务,集群将会为业
阅读全文
posted @ 2020-08-26 14:46 大羽治不了水
阅读(591)
评论(0)
推荐(0)
编辑
Canal之配置,多库监听
摘要: 配置说明 介绍配置之前,先了解下canal的配置加载方式: Spring配置 spring配置的原理是将整个配置抽象为两部分: xxxx-instance.xml (canal组件的配置定义,可以在多个instance配置中共享) xxxx.properties (每个instance通道都有各自一
阅读全文
posted @ 2020-08-26 10:26 大羽治不了水
阅读(4554)
评论(2)
推荐(2)
编辑
下一页