摘要:
OutLine 一般写好一个 scrapy 项目,启动方式大多会在命令行里执行: scrapy crawl “spider-name” (后面有参数就跟参数) 但这么启动不方便去断点调试,不便于快速定位问题、解决问题。 So 记录下自己在pycharm中断点调试的过程。(下文中图片可能看不清,点击即 阅读全文 »
发表于 2021-04-25 18:37阅读:1390评论:0推荐:0
发表于 2021-04-15 11:07阅读:3829评论:0推荐:0
发表于 2021-04-15 10:15阅读:1195评论:0推荐:0
发表于 2021-04-15 09:56阅读:2524评论:0推荐:0
摘要:
需求 把指定列的数据根据指定字符进行拆分,并保留拆分后所需的列; 原始数据: 需要将这列数据根据 ‘.’ 进行拆分,并保留 .DCE 前面的部分; 解决 借助于 pandas.DataFrame.field.str.split() df['ts_code'].str.split('.', expan 阅读全文 »
摘要:
需求 将两列string类型的数据拼接为新的一列; 原始数据如下: 解决 借助于 pandas.DataFrame.field.str.cat() df['deliveryPrice'].str.cat(df['deliveryMonth']).str.upper() 阅读全文 »
摘要:
需求 剔除指定列中包含 “小计”信息的行。 解决 借助 pandas.DataFrame.filed.str.contains() Step1:取出包含 “小计” 信息的行; 这样,剩下的数据就都是不包含 “小计” 的数据了; df[df['deliveryPrice'].str.contains( 阅读全文 »
发表于 2021-04-02 10:33阅读:1020评论:0推荐:0
摘要:
Outline 在把scrapy任务部署到scrapyd服务上时,遇到问题一直不成功: 报错如下: (Deploy failed (500):,部署失败) scrapyd-deploy muji_data_python_spider -p muji_data_python_spider Packin 阅读全文 »
发表于 2021-03-31 10:19阅读:82评论:0推荐:0
发表于 2021-03-31 10:18阅读:404评论:0推荐:0
摘要:
先占坑,闲了完善内容; 主要介绍日常使用频率比较高的基本用法; 内容模式:文本+gif动图演示 阅读全文 »
摘要:
先占坑,闲了完善内容; 主要介绍日常使用频率比较高的基本用法,进阶用法暂不介绍; 内容模式:文本+gif动图演示 阅读全文 »
发表于 2021-03-11 20:21阅读:3250评论:0推荐:0
摘要:
Outline 需要对下面的Python项目进行打包,编写好了 setup.py 后,直接Python setup.py install; 因为Python setup.py install 默认只保留 .py 的文件,所以 static 不在安装路径内,但此处需要它。 ├── ./mdlib │ 阅读全文 »
发表于 2021-03-02 19:53阅读:729评论:0推荐:0
摘要:
Outline 今天配置了个新环境(Linux),需要装下anaconda,anaconda安装完后,执行conda命令提示没有此命令; 解决 原因是环境变量没配好; 我用的是zsh,执行下面命令解决此问题: echo 'export PATH="~/anaconda2/bin:$PATH"' >> 阅读全文 »
发表于 2021-02-26 16:11阅读:9827评论:0推荐:1
摘要:
Outline lis = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 从lis中每次取两个元素,且所取不重复: [1, 2][3, 4][5, 6][7, 8][9, 10] 实现 method1 ret = [] a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 阅读全文 »