会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
簌小颜
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
上一页
1
2
3
下一页
2021年10月11日
爬取王者荣耀详情页面皮肤数据
摘要: '''整体思路:第一步获取英雄名称和对应的详情页的网址第二步获取英雄详情页皮肤的网址第三步根据皮肤网址爬取图片然后根据第二步 循环第一步用xpath得到的网址列表再用第二步得到的皮肤网址列表做第三步的循环''' 1 #!/user/bin/env python 2 # -*- coding:utf-
阅读全文
posted @ 2021-10-11 23:11 簌小颜
阅读(176)
评论(0)
推荐(0)
编辑
2021年10月10日
MongoDB操作
摘要: 文档操作 涉及到数据的嵌套查找 支持直接点键或者索引 db.t1.deleteOne({'addr.counytry':'Japan'}) db.t1.deleteOne({'hobby.1':'tea'}) # .键.索引.索引.键.键 可以无限制的往下点点点 用户权限管理 """涉及到用户权限相
阅读全文
posted @ 2021-10-10 20:38 簌小颜
阅读(49)
评论(0)
推荐(0)
编辑
2021年10月8日
MongoDB的安装步骤
摘要: 下载地址:https://www.mongodb.com/try/download/community 进入上面网站后 页面右下角为下载选项 如下图所示 # 怕最新版本不稳定 不予考虑 我们下载4.4.9版本 操作步骤皆如下图步骤所示: # 文件夹中有mongod.exe和mongo.exe 前者为
阅读全文
posted @ 2021-10-08 22:53 簌小颜
阅读(134)
评论(0)
推荐(0)
编辑
2021年10月7日
爬取实例及Scrapy框架
摘要: 百度自动登录: 1 from selenium import webdriver 2 import time 3 4 # 1.使用谷歌浏览器访问百度首页 5 bro = webdriver.Chrome() 6 bro.get('https://www.baidu.com/') 7 # 2.查找页面
阅读全文
posted @ 2021-10-07 15:46 簌小颜
阅读(32)
评论(0)
推荐(0)
编辑
2021年9月29日
爬取红薯小说网
该文被密码保护。
阅读全文
posted @ 2021-09-29 23:25 簌小颜
阅读(0)
评论(0)
推荐(0)
编辑
2021年9月28日
爬取实例及自动化测试工具Selenuim模块
摘要: 爬取城市名称: 1 import requests 2 from lxml import etree 3 4 # 1.发送请求获取页面数据 5 res = requests.get("https://www.aqistudy.cn/historydata/", 6 headers={ 7 'User
阅读全文
posted @ 2021-09-28 21:25 簌小颜
阅读(82)
评论(0)
推荐(0)
编辑
2021年9月27日
Xpath解析器
摘要: Xpath解析器: # 效率很高 使用广泛 """ 该选择器可以做到一句话完成多步操作 """ # 1.导入Xpath所在模块 from lxml import etree # 2.将带匹配的文本传入etree生成一个对象 html = etree.HTML(doc) # 3.Xpath解析器主要功
阅读全文
posted @ 2021-09-27 23:45 簌小颜
阅读(62)
评论(0)
推荐(0)
编辑
2021年9月26日
爬取并写入文件实例
摘要: 爬取链接二手房数据并写入文件: 1.先研究单页数据的爬取 2.再研究如何写入文件 3.最后研究多页数据的爬取 '''一定要将复杂的功能拆分成多个简单的小步骤''' # 先来分析网址 https://sh.lianjia.com/ershoufang/ 省市 https://sh.lianjia.co
阅读全文
posted @ 2021-09-26 20:20 簌小颜
阅读(79)
评论(0)
推荐(0)
编辑
Openpyxl模块
摘要: 简介: """1.excel文件的后缀名针对版本的不同 是不同的 03版本之前: .xls 03版本之后: .xlsx2.在python能够操作excel表格的模块有很多 openpyxl模块 该模块可以操作03版本的之后的文件 针对03版本之前的兼容性可能不太好 xlrd、xlwt模块 xlrd控
阅读全文
posted @ 2021-09-26 19:55 簌小颜
阅读(70)
评论(0)
推荐(0)
编辑
2021年9月23日
爬取梨视频多页视频数据(配图教学)
摘要: # 全部代码,需先安装以下需要插入的模块 import requests from bs4 import BeautifulSoup import os import time if not os.path.exists(r'梨视频数据'): os.mkdir(r'梨视频数据') def get_v
阅读全文
posted @ 2021-09-23 20:49 簌小颜
阅读(106)
评论(0)
推荐(0)
编辑
上一页
1
2
3
下一页