02 2023 档案
摘要:编辑器之神-vim vi简介 vi是“Visual interface”的简称,它在Linux上的地位就仿佛Edit程序在DOS上一样。它可以执行输出、删除、查找、替换、块操作等众多文本操作,而且用户可以根据自己的需要对其进行定制。Vi不是一个排版程序,它不象Word或WPS那样可以对字体、格式、段
阅读全文
摘要:Linux命令-系统管理 查看当前日历:cal cal命令用于查看当前日历,-y显示整年日历: 显示或设置时间:date 设置时间格式(需要管理员权限): date [MMDDhhmm[[CC]YY][.ss]] +format CC为年前两位yy为年的后两位,前两位的mm为月,后两位的mm为分钟,
阅读全文
摘要:Linux命令-用户、权限管理 用户是Unix/Linux系统工作中重要的一环,用户管理包括用户与组账号的管理。 在Unix/Linux系统中,不论是由本机或是远程登录系统,每个系统都必须拥有一个账号,并且对于不同的系统资源拥有不同的使用权限。 Unix/Linux系统中的root账号通常用于系统的
阅读全文
摘要:Linux命令-文件、磁盘管理 1.文件管理 查看文件信息:ls ls是英文单词list的简写,其功能为列出目录的内容,是用户最常用的命令之一,它类似于DOS下的dir命令。 Linux文件或者目录名称最长可以有265个字符,“.”代表当前目录,“..”代表上一级目录,以“.”开头的文件为隐藏文件,
阅读全文
摘要:selenium Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera,Edge等。这个工具的
阅读全文
摘要:进程和线程 今天我们使用的计算机早已进入多CPU或多核时代,而我们使用的操作系统都是支持“多任务”的操作系统,这使得我们可以同时运行多个程序,也可以将一个程序分解为若干个相对独立的子任务,让多个子任务并发的执行,从而缩短程序的执行时间,同时也让用户获得更好的体验。因此在当下不管是用什么编程语言进行开
阅读全文
摘要:实现爬虫的套路 准备URL 准备start_url url地址规律不明显,总数不确定 通过代码提取下一页的url 通过xpath提取 寻找url地址,部分参数在当前的响应中(比如当前页码数和总页码数在当前的响应中) 准备url_list 页码总数明确的时候 url地址规律明显 发送请求,获取响应 添
阅读全文
摘要:XPath 语法 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 XML 实例文档 我们将在下面的例子中使用这个 XML 文档。 <?xml version="1.0" encoding="ISO-8859-1"?
阅读全文
摘要:使用正则表达式 正则表达式相关知识 在编写处理字符串的程序或网页时,经常会有查找符合某些复杂规则的字符串的需要,正则表达式就是用于描述这些规则的工具,换句话说正则表达式是一种工具,它定义了字符串的匹配模式(如何检查一个字符串是否有跟某种模式匹配的部分或者从一个字符串中将与模式匹配的部分提取出来或者替
阅读全文
摘要:Python_json类方法 import requests import json headers = { "User-Agent": "Mozilla/5.0 (Linux Android 6.0Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, l
阅读全文
摘要:request requests¶ get请求¶ In [ ]: import requests response=requests.get('http://www.baidu.com')#get请求 In [ ]: response.status_code #响应状态码 In [ ]: respo
阅读全文
摘要:import requests class TiebaSpider: """百度贴吧爬虫类""" def __init__(self, tieba_name) -> None: self.tieba_name = tieba_name self.url_temp = "https://tieba.b
阅读全文
摘要:HTTP基本原理 URL URL(Uniform Resource Locator),即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置 和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联 网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置 以
阅读全文
摘要:user_analysis 第一部分:数据类型处理¶ 数据加载¶ 字段含义: user_id:用户ID order_dt:购买日期 order_product:购买产品的数量 order_amount:购买金额 观察数据¶ 查看数据的数据类型 数据中是否存储在缺失值 将order_dt转换成时间类型
阅读全文
摘要:pandas方法 import pandas as pd pd.set_option('display.float_format',lambda x : '%.3f' % x) 禁用科学计数法,小数保留3位
阅读全文
摘要:import pandas as pd import numpy as np from matplotlib import pyplot as plt """ 第一部分:数据类型处理 数据加载 字段含义: user_id:用户ID order_dt:购买日期 order_product:购买产品的数
阅读全文
摘要:import pandas as pd """ 需求 1.加载数据 2.查看数据的基本信息 3.指定数据截取,将如下字段的数据进行提取,其他数据舍弃 cand_nm: 候选人姓名 contbr_nm : 捐赠人姓名 contbr_st:捐赠人所在州 contbr_employer : 捐赠人所在公司
阅读全文
摘要:from turtle import left import pandas as pd """ 需求: 1.导入文件,查看原始数据 2.将人口数据和各州简称数据进行合并 3.将合并的数据中重复的abbreviation列进行删除 4.查看存在缺失数据的列 5.找到有哪些state/region使得s
阅读全文
摘要:背景介绍 本数据集包括了2015年至2017年我国36个主要一线城市、特区的一些年度数据,包括产值、人口、就业、教育、医疗、经济贸易、房地产投资等方面。 包含文件: 2015年国内主要城市年度数据.csv 2016年国内主要城市年度数据.csv 2017年国内主要城市年度数据.csv 数据特征 |数
阅读全文
摘要:提出问题 影响乘客生还的因素很多,这里只对乘客的性别、年龄、乘客等级、这三个因素感兴趣, 看看这四个因素是否会影响乘客的生还率。 1.性别是否会影响生还率 2.年龄是否会影响生还率 3.乘客等级会否会影响乘客率 4.性别和舱位共同对生还率的影响 5.年纪和性别共同对生还率的影响 6.年纪和等级共同对
阅读全文
摘要:import tushare as ts import pandas as pd # 下载茅台所有股票交易数据 # df = ts.get_k_data(code="600519",start="2000-01-01") # df.to_csv("./maotai") # 将本地储存读入到DF中 d
阅读全文