boye169 - 博客园

2021年3月15日

摘要： pathA = [('a',1),('b',1),('c',2),('d',3)] pathB = [('c',1),('d',3),('e',3),('f',4),] a = sc.parallelize(pathA) b = sc.parallelize(pathB) a.join(b).col 阅读全文

posted @ 2021-03-15 23:45 boye169 阅读(383) 评论(0) 推荐(0) 编辑

pyspark union、intersection、subtract、cartesian用法

摘要： union、intersection、subtract、cartesian rdd1 = sc.parallelize([1,2,4,5,2,3]) rdd2 = sc.parallelize([4,6,5,7,8,6]) rdd1.union(rdd2).collect(): 所有rdd1和rdd 阅读全文

posted @ 2021-03-15 23:41 boye169 阅读(474) 评论(0) 推荐(0) 编辑

pyspark基本使用

摘要：【Example】 from pysoark. sql import SparkSession def split_line(line): try: return line.split(b"\t") except:pass def map_partitions(partitions): for li 阅读全文

posted @ 2021-03-15 23:31 boye169 阅读(451) 评论(0) 推荐(0) 编辑

2021年3月12日

python map、reduce、filter用法

摘要： map map() 会根据提供的函数对指定序列做映射 map(function, iterable, ...) 参数： function:函数 iterable:一个或多个序列 list(map(lambda x: x ** 2, [1, 2, 3, 4, 5])) #[1, 4, 9, 16, 2 阅读全文

posted @ 2021-03-12 00:03 boye169 阅读(93) 评论(0) 推荐(0) 编辑

2021年3月3日

python translate 用法

摘要：描述 translate() 方法根据参数table给出的表(包含 256 个字符)转换字符串的字符,要过滤掉的字符放到 deletechars 参数中 translate()方法语法： str.translate(table) bytes.translate(table[, delete]) by 阅读全文

posted @ 2021-03-03 22:02 boye169 阅读(446) 评论(0) 推荐(0) 编辑

2021年2月24日

linux账号管理和密码过期设置

摘要：新添加的用户，用户密码过期时间是从/etc/login.defs中PASS_MAX_DAYS提取的，普通系统默认就是99999，而安全操作系统4.0是90。更改此处，只是让新建的用户默认密码过期时间变化，已有用户密码过期时间仍然不变。 chage：密码失效是通过此命令来管理的。参数意思： -m 密阅读全文

posted @ 2021-02-24 22:49 boye169 阅读(857) 评论(0) 推荐(0) 编辑

JQuery语法

摘要：常用方法 //显示信息到控制台，用于调试 console.log("hello"); //每隔一秒更新一次每个被选中的元素 $(function() { $("a").prettyDate({ interval: 1000 }); }); // 隐藏当前元素 $(this).hide() //隐藏所阅读全文

posted @ 2021-02-24 22:27 boye169 阅读(60) 评论(0) 推荐(0) 编辑

css

摘要： -moz firefox浏览器私有属性-ms ie浏览器私有属性-webkit safari、chrome私有属性 CSS hack 由于不同厂商的流览器或某浏览器的不同版本（如IE6 阅读全文

posted @ 2021-02-24 22:14 boye169 阅读(76) 评论(0) 推荐(0) 编辑

docker基本操作

摘要：安装 CentOs7安装docker】 [查看系统版本] cat /etc/redhat-release [安装docker失败后使用此命令] yum install libdevmapper* -y [安装docker] yum install docker [查看docker安装是否成功] do 阅读全文

posted @ 2021-02-24 22:01 boye169 阅读(174) 评论(0) 推荐(0) 编辑

redis安装及基本操作

摘要： 1.下载： http://pypi.python.org/pypi?%3Aaction=search&term=redis&submit=search2.安装：tar xvzf redis-2.10.3.tar.gzcd redis-2.10.3python setup.py install3、测试阅读全文

posted @ 2021-02-24 21:42 boye169 阅读(113) 评论(0) 推荐(0) 编辑

公告