pycharm 创建一个scrapy项目

由于pycharm不能直接创建scrapy项目，必须通过命令行创建，所以相关操作在pycharm的终端进行：

1、安装scrapy模块：pip install scrapy

2、创建一个scrapy项目：scrapy startproject test_scrapy

3、生成一个爬虫：scrapy genspider itcast "itcast.cn”

4、提取数据：完善spider，使用xpath等方法

5、保存数据：pipeline中保存数据

 

 

posted @   轩辕吊雷  阅读(1361)  评论(1)  编辑  收藏  举报
编辑推荐：
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· C#/.NET/.NET Core技术前沿周刊 | 第 29 期（2025年3.1-3.9）
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异
点击右上角即可分享
微信分享提示
SQL AI 助手