该文被密码保护。 阅读全文
摘要:
requests,pip3,https://www.jianshu.com/p/de4d25c99d49, 一、数据分析工作流程 1.提出需求 2.数据分析 1.收集数据 1.内部给的 2.花钱购买 3.爬虫获取 2.数据清洗 1.筛选掉没有的 缺漏的数据 2.格式 数据类型等等 3.数据分析 1. 阅读全文
摘要:
英文版本: 中文版本: 一、功能上的区别: PYcharm专业版是功能最丰富的,与社区版相比,PYcharm专业版增加了Web开发、Python We框架、Python分析器、远程开发、支持数据库与SQL等更多高级功能。 pyCharm的社区版中没有Web开发、Python We框架、Python分 阅读全文
摘要:
python离线包下载地址 官方网址:https://pypi.org/ 具体地址:https://pypi.org/project/pdfconv/ https://pypi.org/search/?q=major&o= python常用模块使用地址 https://www.cnblogs.com 阅读全文
摘要:
一、计算机网络体系结构分层 二、TCP/IP 基础 网际协议群 更多参考:https://developer.51cto.com/art/201906/597961.htm 阅读全文
摘要:
2048代码 #-*- coding:utf-8 -*- import curses from random import randrange, choice # generate and place new tile from collections import defaultdict lett 阅读全文
摘要:
一、变量命名规范 1 变量命名,推荐用驼峰 AgeOfXX== (变量,函数,大写字母开头表示导出,外部包可以使用) 2 go文件命名,推荐用下滑线 3 个名字必须以一个字母(Unicode字母)或下划线开头,后面可以跟任意数量的字母、数字或下划线 4 不要用关键字和保留关键字作为变量名 5 大写字 阅读全文
摘要:
为何要有装饰器 软件一旦上线运行之后,就应该遵循开放封闭原则: 1、开放指的是对拓展新功能开放 2、封闭指的是对修改源代码封闭 定义装饰器的目的: 定义装饰器就是为了在遵循1和2的前提下来为其他函数添加新功能的 ps: 不修改被装饰对象指的是定义与调用都不能修改 所以下述行为都违反了开放封闭原则: 阅读全文
摘要:
1. ls -la 文件路径 ls 列出目录(文件夹)中的文件和子目录 -l 长格式列出 -a 显示所有文件,包括隐藏文件和目录(所有以“.”为开始的文件和目录为隐藏文件) 所以ls -la 是列出当前目录中的所有文件和目录,包括隐藏文件和目录 但不是查看文件里面的内容,查看文件的里的内容用的是mo 阅读全文
摘要:
一、爬虫配置文件 setting.py #1 是否遵循爬虫协议 ROBOTSTXT_OBEY = False #2 浏览器类型(默认写的是scrapy,) # USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 阅读全文
摘要:
一、xpath的使用 1 css xpath 都是通用的选择器 2 XPath 使用路径表达式在 XML 文档中选取节点 3 lxml模块为例,讲xpath选择(selenium,scrapy 》css/xpath) 4 主要用法: # / :从当前节点开始选择,子节点 # // :从当前节点开始选 阅读全文
摘要:
一、Pycharm中常用快捷键 1、编辑(Editing) Ctrl + Space 基本的代码完成(类、方法、属性)Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息(在方法中调用参数)Ctrl + Q 快速查看文档F1 阅读全文
摘要:
概要 代码 from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" id='id_pp' name='lqz 阅读全文
摘要:
概要 遍历文档树:即直接通过标签名字选择,特点是选择速度快,但如果存在多个相同的标签则只返回第一个 #1、用法 #2、获取标签的名称 #3、获取标签的属性 #4、获取标签的内容 #5、嵌套选择 #6、子节点、子孙节点 #7、父节点、祖先节点 #8、兄弟节点 总结: -soup.body.p -取属性 阅读全文
摘要:
一、介绍 1 比如:百度是个大爬虫2 搜索引擎 seo不花钱 优化:建外链,加关键字,曝光率高,伪静态 sem花钱优化,百度自己优化 3 模拟浏览器发送http请求 (请求库)(频率,cookie,浏览器头。。js反扒,app逆向)(抓包工具) 》从服务器取回数据 》 解析数据--(解析库)(反扒) 阅读全文