摘要：
python如何自动导入第三方库 一、打开PyCharm 打开PyCharm之后，展示如下 二、开始导包 2.1 点击左上角：file —>> Settings —>> 2.2 然后找到：Project pythonProject —>> Project Interpreter —>> 点击右边的 阅读全文
摘要：
spark精华面试题 1、driver的功能是什么？ 1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stag 阅读全文
摘要：
rowkey设计首先应当遵循三大原则： 1、rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 一般越短越好，不要超过16个字节，注意原因如下： （1）目前操作系统都是64位系统 阅读全文
摘要：
ubuntu教程 一、 Ubuntu简介 Ubuntu（乌班图）是一个基于Debian的以桌面应用为主的Linux操作系统，据说其名称来自非洲南部祖鲁语或科萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观。 Ubuntu的目标在于为一般用户提供一个最新 阅读全文
摘要：
sqoop数据迁移 查看所有的数据库 sqoop list-databases -connect jdbc:mysql://hadoop1:3306 -username root -password root 查看text库中所有表 sqoop list-tables -connect jdbc:m 阅读全文
摘要：
Hive 自定义UDF操作步骤 需要自定义类，然后继承UDF 然后在方法envluate()方法里面实现具体的业务逻辑，打包上传到linux(以免出错打包成RunningJar) 一、创建临时函数 （1）add jar /udf/xxx.jar （2）Create temporary functio 阅读全文
摘要：
hive数据导入导出 一、导入数据4种方式 建表语句 create table test( name string, friends array, children map<string, int>, address struct<street:string, city:string> ) row 阅读全文
摘要：
MySQL优化 1、索引优化 索引本身就很大，索引往往以文件的形式存储在磁盘上 （1）性能下降的原因 1)查询语句写的烂 2)索引失效 3)关联查询太多的join 7种join 4)服务器调优设置(缓冲、线程等) （2）概念：索引就是帮助MySQL高效的获取数据的数据结构 （3）优势：降低数据库的I 阅读全文
摘要：
MongoDB、Redis、elasticSearch、hbase的对比 MongoDB 优点： (1) 最大的特点是表结构灵活可变，字段类型可以随时修改。 (2) 插入数据时，不必考虑表结构的限制。 (3) 不需要定义表结构这个特点给表结构的修改带来了极大的方便。 缺点 给多表查询、复杂事务等高级 阅读全文
摘要：
数据库基本操作 创建新表 CREATE TABLE usertbl(name VARCHAR(20), signupdate DATE); 插入数据 INSERT INTO usertbl(name, signupdate) VALUES('张三', '2013-12-22'); 选择记录 SELE 阅读全文
摘要：
count(*) 和 count(1)和count(列名)区别 执行效果上： count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULL count(列名)只包括列名那一列，在统计结 阅读全文
摘要：
BigDecimal的运算——加减乘除 1、初始化（尽量用字符串的形式初始化） BigDecimal num12 = new BigDecimal("0.005"); BigDecimal num22 = new BigDecimal("1000000"); BigDecimal num32 = n 阅读全文
摘要：
you-get安装及使用 1、安装python 下载地址：https://www.python.org/downloads/ 配置环境变量：我的电脑 --> 属性 --> 高级系统设置 --> 环境变量 --> PATH --> 加入python的bin路径 2、安装ffmpeg -version 阅读全文
摘要：
ASCII（American Standard Code for Information Interchange，美国标准信息交换代码） ASCII简介 ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）是基于拉丁 阅读全文
摘要：
log4j.properties #log4j.rootLogger=warn,a1 #lot4j.appender.a1.Target=System.out #log4j.appender.a1=org.apache.log4j.ConsoleAppender #log4j.appender.a1 阅读全文
摘要：
maven打包插件 <build> <pluginManagement> <plugins> <!-- 编译scala的插件 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</arti 阅读全文
摘要：
linux后台执行命令：&和nohup 当我们在终端或控制台工作时，可能不希望由于运行一个作业而占住了屏幕，因为可能还有更重要的事情要做，比如阅读电子邮件。对于密集访问磁盘的进程，我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行，也就是说不在终端屏幕上运行，有几 阅读全文
摘要：
linux设置开机启动 1、新建一个批处理文件xxxx.sh，内容模板如下 cd 要启动的程序路径 ./程序名 2、修改批处理文件的权限 chmod 777 xxxx.sh 3、vim /etc/rc.local 增加启动项 /home/xxxx.sh >> /home/xxxx.out & 4、执 阅读全文