jaysonteng - 博客园

2020年5月29日

摘要：玩爬虫，怎么能少了scrapy框架呢。scrapy框架被称为是复杂并好用的爬虫框架。当初学框架的时候是一头雾水，一旦实战成功过后，感觉瞬间打通了任督二脉，很有成就感。接下来，将对scrapy框架爬虫代码编写流程做简要说明：目录一、新建工程二、新建spider 三、定义所需爬取字段四、解析阅读全文

posted @ 2020-05-29 21:59 jaysonteng 阅读(2473) 评论(1) 推荐(1) 编辑

python中浅复制与深复制

摘要：在python中，等号作用是引用对象地址对应的对象 python中的数据分为可变类型和不可变类型：可变类型：可列表、字典不可变数据类型：字符串String、浮点型Float、整型Int、元祖Tuple。对于不可变类型数据来说，其内存地址是不变的 # 比如： id(3) # 通过id查看数据内存阅读全文

posted @ 2020-05-29 16:43 jaysonteng 阅读(364) 评论(0) 推荐(0) 编辑

local variable 'x' referenced before assignment

摘要：出现此情况原因： 1、说明x在其他函数中定义过，但x不是全局变量。（或者是多线程调用本函数，因为共享变量，也会报此错误） 2、变量在本函数中，在其调用之前的if语句中被定义过，但由于某次执行，不满足条件，使得x未进入过if语句，从而使得a未真正意义上被定义，所以报此错误。比如： def func1 阅读全文

posted @ 2020-05-29 14:43 jaysonteng 阅读(927) 评论(0) 推荐(0) 编辑

2020年5月20日

python汉字转拼音

摘要：所需安装的库（pypinyin）：pip install pypinyin 代码如下： import pypinyin # 不带声调的(style=pypinyin.NORMAL) def pinyin(word): s = '' for i in pypinyin.pinyin(word, sty 阅读全文

posted @ 2020-05-20 14:53 jaysonteng 阅读(436) 评论(0) 推荐(0) 编辑

2020年5月12日

python多线程

摘要： import timeimport threadingfrom threading import Threadfrom concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, as_completeddef sleep_t 阅读全文

posted @ 2020-05-12 18:00 jaysonteng 阅读(156) 评论(0) 推荐(0) 编辑

python多进程内嵌套多线程

摘要： import time from multiprocessing import Pool from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, as_completed def thread_func(data 阅读全文

posted @ 2020-05-12 16:41 jaysonteng 阅读(5613) 评论(0) 推荐(0) 编辑

python selenium爬虫滑块验证

摘要：思路： 1、获取带滑块的图片 2、获取不带滑块、完整的图片 3、比较两张图片中不一样的地方，找到滑块的坐标 4、通过滑块坐标来拖动浏览器代码： import random import time from PIL import Image from io import BytesIO import 阅读全文

posted @ 2020-05-12 11:38 jaysonteng 阅读(2510) 评论(0) 推荐(0) 编辑

pandas对角线值修改

摘要：思路： 1、先将DataFrame数据转换为numpy 2、通过numpy来修改对角线值 3、再将数据转换为DataFrame 代码： import pandas as pd import numpy as np # 数据 df = pd.DataFrame(np.arange(16).reshap 阅读全文

posted @ 2020-05-12 10:58 jaysonteng 阅读(1863) 评论(0) 推荐(0) 编辑

2020年5月4日

get和post请求的区别

摘要： get和post是http请求的两种基本方法，最直观的区别就是get把参数包含在url中，post是通过request body传递参数。 1、get在浏览器回退时候是无害的，而post会再次提交请求 2、get请求只能进行url编码，而post支持多种编码方式 3、get请求在url中传送的参数是阅读全文

posted @ 2020-05-04 10:23 jaysonteng 阅读(239) 评论(0) 推荐(0) 编辑

2020年4月29日

pandas的DataFrame与python的dict字典之间的相互转换

摘要：一、dict生成DataFrame 1、如果只有一个dict，即一行dataframe数据 # 注：dict的形式必须是如下2种，不然会报错 # 1、dict外面加一层list【】 dict_a = [{'a': 0, 'b': 1, 'c': 2}] # 2、dict内部的数据至少有1个或多个是l 阅读全文

posted @ 2020-04-29 11:14 jaysonteng 阅读(33777) 评论(0) 推荐(3) 编辑