2023年3月2日

VM安装linux2022、设置root密码、设置国内更新源

摘要： 一、创建虚拟机 1、打开VM软件选择“创建新的虚拟机” 2、选择“典型”即可 3、选择“稍后安装操作系统” 4、选择客户机操作系统为“Linux” 5、自定义命名虚拟机名称和选择存放位置 6、设置磁盘容量（建议40G以上） 7、设置“自定义硬件” 8、内存设置（建议4G起步） 9、处理器设置（建议最 阅读全文

posted @ 2023-03-02 12:51 逐梦的猫 阅读(316) 评论(0) 推荐(0) 编辑

2022年2月13日

向mysql插入数据是出现Incorrect string value错误

摘要： 在向Mysql中添加中文数据时,报错(incorrect string value ) 字符转换不正确 插入语句：mysql> insert into user1 (name,password,email,age) values ('zs',md5('123456'),'zs@sohu.com',3 阅读全文

posted @ 2022-02-13 10:43 逐梦的猫 阅读(1703) 评论(0) 推荐(0) 编辑

2021年3月3日

python翻译（二）

摘要： 百度翻译，通过设置参数可可以实现翻译为指定语种 baidujs1.js var i = "320305.131321201" function n(r, o) { for (var t = 0; t < o.length - 2; t += 3) { var a = o.charAt(t + 2); 阅读全文

posted @ 2021-03-03 23:47 逐梦的猫 阅读(238) 评论(0) 推荐(0) 编辑

python翻译（一）

摘要： 有道翻译 # -*- coding: UTF-8 -*- import requests import time import random import hashlib #用于md5加密 ''' 有道js加密代码 define("newweb/common/service", ["./utils" 阅读全文

posted @ 2021-03-03 23:41 逐梦的猫 阅读(107) 评论(0) 推荐(0) 编辑

2021年2月23日

python读取xml格式数据

摘要： 读取节点文本值和，属性值 # -*- coding: UTF-8 -*- from xml.dom import minidom dom=minidom.parse('F:\\python_project\\爬虫\\双色球\\shuangseqiu.xml') root=dom.documentEl 阅读全文

posted @ 2021-02-23 19:07 逐梦的猫 阅读(557) 评论(0) 推荐(0) 编辑

2021年2月22日

python存储xml格式数据

摘要： 例子 import xml.dom.minidom # 在内存中创建一个空的文档 doc = xml.dom.minidom.Document() # 创建一个根节点Managers对象 root = doc.createElement('Managers') # 设置根节点的属性 root.set 阅读全文

posted @ 2021-02-22 18:37 逐梦的猫 阅读(448) 评论(1) 推荐(1) 编辑

2021年2月7日

scrapy中发送post请求

摘要： 1、可以使用`yield scrapy.FormRequest(url,formdata,callback)`方法发送POST请求。 其中构造参数formdata可以是字典，也可以是可迭代的（key,value）元组，代表着需要提交的表单数据。 2、如果希望程序执行一开始就发送POST请求，可以重写 阅读全文

posted @ 2021-02-07 19:53 逐梦的猫 阅读(382) 评论(0) 推荐(0) 编辑

2021年2月2日

Scrapy之Request函数回调未执行 Filtered offsite request to 'XXX'

摘要： 在爬取免费代理ip室发现，第一页爬取之后后续的多页爬取没有被解析。在查看调试信息时发现显示 Filtered offsite request to 'www.kuaidaili.com'，经网上查找先关问题解决方案，发现为域名爬取限制，即allowed_domains = ['www.kuaidai 阅读全文

posted @ 2021-02-02 19:46 逐梦的猫 阅读(215) 评论(0) 推荐(0) 编辑

2021年1月30日

scrapy框架学习（六）日志设置和数据存储

摘要： 日志设置 CRITICAL ： 严重错误 ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 默认的显示级别是DEBUG # 设置错误显示级别 LOG_LEVEL = 'DEBUG' # 将日志信息写到文件中，不要显示到屏幕中 LOG_FILE = 阅读全文

posted @ 2021-01-30 20:28 逐梦的猫 阅读(245) 评论(0) 推荐(0) 编辑

2021年1月29日

scrapy框架学习（五）定义数据结构和多页爬取

摘要： 定义数据结构和多页爬取 定义数据结构 在items.py文件中定义你要提取的内容（定义数据结构），比如我提取的内容为用户名name、用户头像链接face_src、好笑数funny、评论数comment，我就创建4个变量。Field方法实际上的做法是创建一个字典，给字典添加一个建，暂时不赋值，等待提取 阅读全文

posted @ 2021-01-29 22:34 逐梦的猫 阅读(212) 评论(0) 推荐(0) 编辑

下一页

导航