杨杨09265 - 博客园

python通过ssh读写远程数据

摘要： 1.适用场景需要读取(写)多台远程机器下的一个或多个文件，如果要通过 os.system('scp ......')来完成就必须配置免密登陆，比较麻烦 2.准备工作，安装依赖 pip install ssh2, 如未安装pip可以通过网页下载ssh2.zip文件然后通过动态加载 3.具体操作方式阅读全文

posted @ 2019-08-14 12:38 杨杨09265 阅读(2484) 评论(0) 推荐(0) 编辑

python 元祖参数和map参数

摘要： 1.对于元组形参数， def func(a,b,c): pass 可以采用一个元组的形式调用， params = (1,2,'c') 如果直接传递运行会抛出异常，正确的调用形式为 func(*params) 很类似于 a,b,c = params 对于数组同样适用，但是元组火数组的数量和参数个数必须阅读全文

posted @ 2019-08-14 01:09 杨杨09265 阅读(728) 评论(0) 推荐(0) 编辑

redis

摘要： redis是一个内存的nosql数据库，因为是c实现的所以速度相对较快，源码结构并不负责，我这里重点分析结构和重要的几个类，其余的大家可以自己去看。 redis服务的主程序就是server类，该类启动时首先初始化一些信息，包括配置和扩展，然后初始化server，server会启动一个tcp服务，t 阅读全文

posted @ 2019-06-26 00:56 杨杨09265 阅读(85) 评论(0) 推荐(0) 编辑

python xlrd

摘要： 1.综述 xlrd是xls read也就是excel文件的读功能。简单demo如下： 2.源码结构 excel文件是有固定结构的，前512位存储的是文件元信息，512位之后存放数据区 biff.py文件定义了基类BaseObject，后续的book和sheet以及cell都继承于此类 compdo 阅读全文

posted @ 2019-05-24 01:30 杨杨09265 阅读(108) 评论(0) 推荐(0) 编辑

python框架django-web层

摘要： 1.demo 命令行:django-admin startproject HelloWorld 命令执行成功后会根据模版生产一个django项目然后通过命令：python3 manage.py runserver 0.0.0.0:8000，启动服务服务架构 2.服务启动执行命令后通过一系列的阅读全文

posted @ 2019-04-26 01:11 杨杨09265 阅读(234) 评论(0) 推荐(0) 编辑

python深拷贝，浅拷贝

摘要： 1.浅拷贝，首先要引用copy包 from copy import copy class A: def __init__(self): self.A=1 self.B=2 a = A() copy(a)返回的就是浅拷贝，此操作是通过重新构造参数，然后重新创建对象，不走init 如果是单例的对象我们阅读全文

posted @ 2019-04-25 02:33 杨杨09265 阅读(72) 评论(0) 推荐(0) 编辑

python 列表推导式

摘要： 1.map lambda形式 l=[1,2,3,4,5] list(map(lambda o:o*6,l)) 列表推导式 [o*6,for i in l] 2.filter [i for i in l if i>3] lambda 形式list(filter(lambda o:o>3,l)) 3.字阅读全文

posted @ 2019-04-19 11:32 杨杨09265 阅读(133) 评论(0) 推荐(0) 编辑

spark总结

摘要：算子总结 1.变换操作,包括过滤，变换，去重，排序,分区操作 filter过滤操作，无法触发重新分区 map,flatMap,flatMapValues,mapValues,mapPartitions,mapPartitionsWithIndex, mapPartitionsWithSplit,zi 阅读全文

posted @ 2019-04-16 11:39 杨杨09265 阅读(112) 评论(0) 推荐(0) 编辑

java将错误信息写入文件

摘要：第一种办法可以通过字符串，也就是先把错误信息写入字符串，再将字符串写入文件阅读全文

posted @ 2018-05-11 01:48 杨杨09265 阅读(1528) 评论(0) 推荐(0) 编辑

hadoop集群搭建

摘要：从周日一直到周三，一有空就搞，终于在周三完成了集群的搭建，先说下基本过程，第一步当然是下载hadoop，官网上都有，这个就不多说了，下载完后解压，解压时要特别注意，最后不要在root用户下操作，因为后续要配置无密码 ssh登录，root下配置无密码ssh登录有点麻烦命令:tar -zxf h 阅读全文

posted @ 2018-05-10 00:55 杨杨09265 阅读(140) 评论(0) 推荐(0) 编辑

yangyang12138

导航

公告