scrapy中pipelines文件封装用sqlalchemy写入mysql数据库
摘要：#前提必须安装 pymysql sqlalchemy scrapy #scrapy的piplines文件中 from sqlalchemy import create_engine, text,insertimport pymysqlfrom scrapy.utils.project import
阅读全文
posted @
2024-12-20 13:39
我爱你的
阅读(6)
推荐(0) 编辑
记scrapy小坑
摘要：在一次用scrapy 爬虫过程中 想提前新建一个目录表,然后用pymysql写入数据库中 遇到两个小问题 1.一直报下面这个错误 Unknown column '字段名' in 'field list' 最后发现没改表名字 即 sql = 'INSERT INTO x5_category(categ
阅读全文
posted @
2024-12-13 22:05
我爱你的
阅读(6)
推荐(0) 编辑
处理json数据写入csv
摘要：def main3(jsondata): lists = [] for key,value in jsondata.items(): data = key+'-'+value # print(key,value) lists.append(data) lists = ','.join(lists)
阅读全文
posted @
2024-12-04 05:39
我爱你的
阅读(22)
推荐(0) 编辑
设置保存文件的目录
摘要：import os def setnamepath(pathname): base_path = os.path.dirname(os.path.abspath(__file__))//target_path = os.path.join(base_path, "movie/") # 设置视频保存的
阅读全文
posted @
2024-12-04 04:15
我爱你的
阅读(4)
推荐(0) 编辑
python全栈
摘要：网址 :https://www.bilibili.com/video/BV1k7ziYyEcc 资料：https://www.cnblogs.com/sbhglqy/collections/13820
阅读全文
posted @
2024-12-04 03:22
我爱你的
阅读(11)
推荐(0) 编辑
