摘要：
在SQL语言中去重是一件相当简单的事情，面对一个表（也可以称之为DataFrame）我们对数据进行去重只需要GROUP BY 就好。 select custId,applyNo from tmp.online_service_startloan group by custId,applyNo 1.D 阅读全文
摘要：
1.官方简介 grep是linux的常用命令，用于对文件和文本执行重复搜索任务的Unix工具，可以通过grep命令指定特定搜索条件来搜索文件及其内容以获取有用的信息。 我平时也是简单的查看一个用户数据，用于简单的数据校对，最近突然接到分析后台日志的需求，才发现grep用处还是不少的。 比如我们后台日 阅读全文
摘要：
1.疑问与背景： 在Python脚本中，通常会有“if __name__==’__main__:”作为程序的入口，但没有这么一句代码，程序也能正常运行。 在Java，每次开启一个程序，都必须写一个主函数（ie:main函数)作为程序的入口。 在“if __name__==’__main__:”也像是 阅读全文
摘要：
才发现原来是在连接mysql时没有参数错误导致的 [root@hadoop01 ~]# mysql -uroot -oproot Warning: Using a password on the command line interface can be insecure. Welcome to t 阅读全文
摘要：
Python经常被称作“胶水语言”，因为它能够轻易地操作其他程序，轻易地包装使用其他语言编写的库，也当然可以用Python调用Shell命令。 用Python调用Shell命令有如下几种方式： 第一种：os.system os.system("The command you want"). 这个调用 阅读全文
摘要：
1.简单查看路径 1.查看数据库的存放路径 进入mysql终端mysql>show variables like '%datadir%'; 2.查看文件安装路径 [root@hadoop01 etc]# whereis mysql mysql: /usr/bin/mysql /usr/lib64/m 阅读全文
摘要：
一个Dataset是一个分布式的数据集，而且它是一个新的接口，这个新的接口是在Spark1.6版本里面才被添加进来的，所以要注意DataFrame是先出来的，然后在1.6版本才出现的Dataset，提供了哪些优点呢？比如强类型，支持lambda表达式，还有还提供了sparksql执行引擎的一些优化， 阅读全文
摘要：
pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应 阅读全文
摘要：
iconv是知名的开源跨平台编码转换库，iconv.exe是iconv库在windows下的命令行工具， iconv.exe的一般用法： 其中 -f gbk 指明转换前的文件编码是gbk，-t utf-8 指明转换后的文件编码是utf-8，gbk.... 功能 对于给定文件把它的内容从一种编码转换成 阅读全文