复制def sync_goods_producer(path):
doc_data = pandas.read_excel(path,engine='xlrd')
doc_data = doc_data.where(doc_data.notnull(), '')
columns = list(doc_data.columns)
with redis_connect_online.pipeline() as pipe:
for rank,doc in enumerate(doc_data.values):
goods_task = dict(zip(columns, doc))
goods_task['file_name'] = path
goods_task['rank'] = rank +1
try:
url_params = UrlHelper.url_parse(goods_task['商品链接'])
except KeyError:
continue
goods_id=url_params.get('id')
goods__detail_task = {
"sta_date": time.strftime("%Y-%m-%d"),
"goods_id": goods_id,
"url": f"https://ec.snssdk.com/product/fxgajaxstaticitem?b_type_new=0&device_id=0&is_outside=1&id={goods_id}&preview=0",
}
pipe.sadd("douyin_goods_detail:start_urls", json.dumps(goods__detail_task))
pipe.sadd("feigua_goods_rank", json.dumps(goods_task))
pipe.execute()
如果您觉得阅读本文对您有帮助,请点一下“推荐”按钮,您的“推荐”将是我最大的写作动力!欢迎各位转载!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)
2021-07-22 Mongodb $setOnInsert操作符 和upsert:true