08 2023 档案

摘要:例1 1 #! /bin/bash 2 read_dir(){ 3 a=0 4 declare -a arr 5 for file in `ls $1` 6 do 7 a=$a+1 8 if [ -d $1"/"$file ] 9 then 10 arr[$a]=$1"/"$file 11 echo 阅读全文
posted @ 2023-08-27 19:59 看一百次夜空里的深蓝 阅读(566) 评论(0) 推荐(0) 编辑
摘要:1.安装VS Code https://code.visualstudio.com/2.安装go https://golang.google.cn/3.配置go环境变量 export PATH=/home/chad/golang/go/bin:$PATH # GO环境的Bin目录 export GO 阅读全文
posted @ 2023-08-19 19:23 看一百次夜空里的深蓝 阅读(439) 评论(0) 推荐(0) 编辑
摘要:1 # 安装 2 pip3 install scrapy_redis 3 # 源码 4 https://github.com/rmax/scrapy-redis.git 5 # 文档 6 https://github.com/rmax/scrapy-redis 7 8 # 配置说明: https:/ 阅读全文
posted @ 2023-08-07 12:55 看一百次夜空里的深蓝 阅读(45) 评论(0) 推荐(0) 编辑
摘要:Splash的初识 1 # Splash类似Selenium模拟浏览器浏览网页来动态爬取网站 2 # 文档:https://splash.readthedocs.io/en/stable/ 3 # Splash 在docker中安装: https://splash.readthedocs.io/en 阅读全文
posted @ 2023-08-02 13:12 看一百次夜空里的深蓝 阅读(150) 评论(0) 推荐(0) 编辑
摘要:Scrapy 初识 1 Scrapy 编码流程 2 1.创建爬虫,也就是继承scrapy.Spider或scrapy.CrawlSpider 3 2.将要爬取的网页填写在start_urls中 4 3.实现parse解析网站的回调 5 4.在Items中编码规定数据对象 6 5.middleware 阅读全文
posted @ 2023-08-01 15:06 看一百次夜空里的深蓝 阅读(251) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示