ふじわらたくみ

摘要： 数据分析的概念 什么是数据分析 就是从现有的数据中挖掘出价值 数据分析应用领域 商品推荐 eg：在淘宝上搜索了一款商品之后 接下来会疯狂给推荐相关的产品 相关产品 量化交易 股票 期货 等数据分析 短视频推送 抖音 今日头条等短视频推荐 数据分析是未来所有公司不可或缺的岗位，目前社会上获取数据的方式 阅读全文

摘要： 文档操作的补充 涉及到数据的嵌套查找 支持直接点键或者索引 db.t1.deleteOne({'addr.counytry':'Japan'}) db.t1.deleteOne({'hobby.1':'tea'}) .键.索引.索引.键 可以无限制往下点点点 用户权限管理 涉及到用户权限相关 引号推 阅读全文

摘要： 爬虫框架scrapy 框架：别人提前给我们搭建好了基本的架构 具备了一定的功能 Scrapy是网络爬虫中使用频率最高 功能最为完善的框架 下载scrapy框架 pip3 install scrapy 苹果笔记本直接下载就可以 但是Windows电脑可能会出现错误 windows电脑如果下载报错并且没 阅读全文

摘要： 百度自动登录 from selenium import webdriver import time # 1.使用谷歌浏览器访问百度首页 bro = webdriver.Chrome() bro.get('https://www.baidu.com/') # 2.查找页面上的登录按钮 login_ta 阅读全文

摘要： selenuim模块的其他使用方法 获取属性 tag.get_attribute('src') 获取文本内容 tag.text 获取标签ID，位置，名称，大小 print(tag.id) print(tag.location) print(tag.tag_name) print(tag.size) 阅读全文

摘要： 爬取城市名称 import requests from lxml import etree # 1.发送请求获取页面数据 res = requests.get("https://www.aqistudy.cn/historydata/", headers={ 'User-Agent': "Mozil 阅读全文

摘要： 爬取豆瓣top250 import requests # 请求库 from bs4 import BeautifulSoup # 解析库 from openpyxl import Workbook import time wb = Workbook() wb1 = wb.create_sheet(' 阅读全文

摘要： 爬取豆瓣top250 在爬取的时候发生了一点小插曲 我们的IP被锁了 import requests proxies = { 'http': '114.99.223.131:8888', 'http': '119.7.145.201:8080', 'http': '175.155.142.28:80 阅读全文

摘要： 梨视频爬取教程 1.我们首先先要查看这个地址是否能直接连接到我们所需要的视频 2.通过点击这个视频地址我们发现是直接加载在网页上面的，这个时候事情就容易多了 3.然后我们需要分析这个地址所在的a标签的规律并且使用方法找到所需要的标签数据 4.进一步检查他的转跳窗口地址并没有给全那就手动加上前面部分 阅读全文

摘要： 在查找标签的时候有两种策略 1.指名道姓的查找 待查找的标签本身就具备很强的辨识度 2.先整体再局部 待查找的标签本身没有很强的辨识度 并且很多地方都有相似的标签 此时可以先查找该标签的祖先标签再一步一步查找其后代标签拿到需要的数据 梨视频多页数据的爬取 import requests from b 阅读全文