随笔分类 -  Python技术

1 2 3 4 5 ··· 9 下一页
关于Python技术学习和应用
摘要:python的字符转换 str→bytes:encode()方法bytes→str:decode()方法 阅读全文
posted @ 2022-04-20 15:38 整合侠 阅读(90) 评论(0) 推荐(0) 编辑
摘要:Python2.7:字符转UFT-8、GBK、BIG5并得到bytes # encoding: utf-8 def hexstr(s): return ''.join([hex(ord(c)).replace('0x','\\x') for c in s]) # 转big5 def toBig5(s 阅读全文
posted @ 2022-01-18 20:53 整合侠 阅读(328) 评论(0) 推荐(0) 编辑
摘要:Python3:离线安装wheel包和tar.gz包 1、安装whl包: 执行:pip install **.whl(前提是要安装好pip和wheel) 2、安装tar.gz包: (1)解压 tar -zxvf xxx.tar.gz; (2)·cd到解压后路径,执行python setup.py i 阅读全文
posted @ 2021-12-28 12:01 整合侠 阅读(2204) 评论(0) 推荐(0) 编辑
摘要:一、环境 1,系统:CentOS 7 2,用户:root 3,Python版本:python3.6.8 二、安装 1,登录到centOS机器,新建文件夹mkdir /usr/local/python3 2,将安装包和依赖包里的文件上传至/usr/local/python3 3,进入目录 cd /us 阅读全文
posted @ 2021-05-25 16:45 整合侠 阅读(5533) 评论(4) 推荐(0) 编辑
摘要:Python3的threading模块 lock、Rlock的使用 一、概述 在使用多线程的应用下,如何保证线程安全,以及线程之间的同步,或者访问共享变量等问题是十分棘手的问题,也是使用多线程下面临的问题,如果处理不好,会带来较严重的后果,使用python多线程中提供Lock 、Rlock 、Sem 阅读全文
posted @ 2021-04-14 16:19 整合侠 阅读(1396) 评论(0) 推荐(0) 编辑
摘要:Python3的multiprocessing多进程-示例 一、概述 由于GIL的存在,python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing,只需要定义一个函数, 阅读全文
posted @ 2021-04-14 16:14 整合侠 阅读(19065) 评论(0) 推荐(2) 编辑
摘要:Python3的multiprocessing多进程-Lock、Rlock进程同步 一、简介 对于多进程multiprocessing和多线程threading这两个库的同步,基本上是相似的使用方式。 1、不使用锁进行同步 import multiprocessing import time def 阅读全文
posted @ 2021-04-14 16:03 整合侠 阅读(806) 评论(0) 推荐(0) 编辑
摘要:Python3的multiprocessing多进程-Queue、Pipe进程间通信 一、简介 当使用多个进程时,通常使用消息传递来进行进程之间的通信,并避免必须使用任何同步原语(如锁)。对于传递消息,可以使用Pipe()(用于两个进程之间的连接)或队列Queue(允许多个生产者和消费者)。mult 阅读全文
posted @ 2021-04-14 16:00 整合侠 阅读(2454) 评论(0) 推荐(0) 编辑
摘要:python3的multiprocessing多进程-Pool进程池模块 一、简介 Multiprocessing.Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求; 但如果池中的进程数已经达到规定最大值,那么该请求就会 阅读全文
posted @ 2021-04-14 15:57 整合侠 阅读(2087) 评论(0) 推荐(0) 编辑
摘要:Python3的multiprocessing多进程-process模块 一、简介 multiprocessing类似于threading模块支持生成进程的包,是Python的标准模块,它既可以用来编写多进程,也可以用来编写多线程。如果是多线程的话,用multiprocessing.dummy即可, 阅读全文
posted @ 2021-04-14 15:52 整合侠 阅读(785) 评论(0) 推荐(0) 编辑
摘要:Python3多进程编程中进程池锁共享 python多进程编程使用进程池非常的方便管理进程,但是有时候子进程之间会抢占一些独占资源,比如consol或者比如日志文件的写入权限,这样的时候我们一般需要共享一个Lock来对独占资源加锁。 lock作为一个不可直接打包的资源是没有办法作为一个参数直接给Po 阅读全文
posted @ 2021-04-14 15:41 整合侠 阅读(575) 评论(0) 推荐(0) 编辑
摘要:Python3多线程使用 一、简介 Python中使用线程有两种方式:函数或者用类来包装线程对象。 函数式:调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下: 参数说明: function - 线程函数。 args - 传递给线程函数的参数,他必须是个tu 阅读全文
posted @ 2021-04-14 15:32 整合侠 阅读(1710) 评论(0) 推荐(0) 编辑
摘要:Python3多进程Multiprocessing模块 进程池 (Process Pool)可以创建多个进程。这些进程就像是随时待命的士兵,准备执行任务(程序)。一个进程池中可以容纳多个待命的士兵; import multiprocessing as mul def f(x): return x** 阅读全文
posted @ 2021-04-14 15:18 整合侠 阅读(234) 评论(0) 推荐(0) 编辑
摘要:Python3 sftp文件上传下载以及远程执行命令 1,简介 Paramiko模块是基于Python实现的SSH远程安全连接,用于SSH远程执行命令、文件传输等功能。 注意:paramiko 2.4.2 依赖 cryptography,而最新的cryptography==2.5里有一些弃用的API 阅读全文
posted @ 2020-11-05 16:36 整合侠 阅读(3563) 评论(0) 推荐(0) 编辑
摘要:Linux上ftp的安装 1,环境:CentOS6.5(32位) 2,检查Linux上是否安装了ftp rpm -qa |grep vsftpd 如果已经安装了ftp服务,则出现ftp的版本信息: 3,使用yum安装ftp服务 yum install vsftpd 4,查看ftp服务状态: serv 阅读全文
posted @ 2020-11-05 16:07 整合侠 阅读(652) 评论(0) 推荐(0) 编辑
摘要:python3 ftp文件传输 示例: from ftplib import FTP def ftpconnect(host, username, password): ftp = FTP() ftp.set_debuglevel(2) ftp.connect(host, 21) ftp.login 阅读全文
posted @ 2020-11-05 15:43 整合侠 阅读(1302) 评论(0) 推荐(0) 编辑
摘要:Python3利用Chrome的--headless爬取动态页面内容(推荐) 利用Chrome浏览器的--headless爬取页面的动态内容: 1,下载与浏览器匹配的chromdriver.exe,并将文件拷贝到python的Scripts的目录下(已配置环境变量path的); 2,示例: from 阅读全文
posted @ 2020-10-26 11:19 整合侠 阅读(677) 评论(0) 推荐(0) 编辑
摘要:selenium+PhantomJS爬取网页动态加载内容 一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源,但是设计javascript渲染的页面却不能抓取,此时,我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascri 阅读全文
posted @ 2020-10-16 16:06 整合侠 阅读(922) 评论(0) 推荐(0) 编辑
摘要:调用PhantomJS异常:Sessions clean-up phase starting NOW 问题: 调用PhantomJS异常:Sessions clean-up phase starting NOW 解决方案: Java: DesiredCapabilities dcap = new D 阅读全文
posted @ 2020-10-16 15:59 整合侠 阅读(225) 评论(0) 推荐(0) 编辑
摘要:pipenv的使用 pipenv是一个python包管理工具,它能同时管理python虚拟环境和python依赖,官方推荐。 常用命令 pipenv的安装 $ pip install pipenv 创建环境 $ pipenv install --python3.6.7 --dev 上述的命令会生成P 阅读全文
posted @ 2020-10-15 14:49 整合侠 阅读(427) 评论(0) 推荐(0) 编辑

1 2 3 4 5 ··· 9 下一页
点击右上角即可分享
微信分享提示