时光哥哥

2020年11月25日

摘要： 1 import parsel 2 import pymysql 3 from lxml import etree 4 import re 5 import requests 6 def download_data(url,cookie): 7 ''' 8 获取加密网页源码 9 获取加密文件 10 阅读全文

posted @ 2020-11-25 14:26 时光哥哥阅读(1349) 评论(0) 推荐(0) 编辑

　pymysql.err.InternalError: (1366, "Incorrect string value: '\\xF0\\x9D\\x90\\xBF;......

摘要：问题描述：插入Mysql时失败了，python代码报如下异常： pymysql.err.InternalError: (1366, "Incorrect string value: '\\xF0\\x9D\\x90\\xBF;...... 原因分析： UTF-8编码有可能是两个、三个、四个字节。E 阅读全文

posted @ 2020-11-25 14:20 时光哥哥阅读(485) 评论(0) 推荐(0) 编辑

pyinstaller安装和使用

摘要：安装 PyInstalle Python 默认并不包含 PyInstaller 模块，因此需要自行安装 PyInstaller 模块。安装 PyInstaller 模块与安装其他 Python 模块一样，使用 pip 命令安装即可。在命令行输入如下命令： pip install pyinstalle 阅读全文

posted @ 2020-11-25 08:44 时光哥哥阅读(493) 评论(0) 推荐(0) 编辑

2020年10月26日

爬取VIP视频

摘要：步骤一、在网页上打开一个视频，然后复制地址栏的地址步骤二、在网页上输入http://jx.618g.com/?url=步骤一得出的地址步骤三、待有视频出来就按F12，在Network中的name找到ts结尾的请求，然后把视频拉到最后，记录ts请求的尾数，点击任意ts请求，找到request_url 阅读全文

posted @ 2020-10-26 11:22 时光哥哥阅读(2636) 评论(0) 推荐(0) 编辑

2020年10月23日

Vmware虚拟机三种网络模式详解

摘要：一、前言 Vmware 为我们提供了三种网络工作模式，分别是：Bridged（桥接模式）、NAT（网络地址转换模式）、Host-only（仅主机模式）。二、VMware 的几个常见虚拟设备打开 VMware --> Edit（编辑）--> VirtualNetworkEditor（虚拟网络编辑器阅读全文

posted @ 2020-10-23 13:44 时光哥哥阅读(1043) 评论(0) 推荐(0) 编辑

2020年10月20日

selenium By八种方式定位元素

摘要： BY方式定位使用selenium的By方式定位，首先得导入该模块 from selenium.webdriver.common.by import By id属性定位find_element(By.ID,"id") name属性定位find_element(By.NAME,"name") clas 阅读全文

posted @ 2020-10-20 13:08 时光哥哥阅读(1230) 评论(0) 推荐(0) 编辑

2020年9月7日

mysql的安装启动基础配置-Windows版

摘要：第一步：打开网址，https://www.mysql.com，点击downloads之后跳转到https://www.mysql.com/downloads 第二步：跳转至网址https://dev.mysql.com/downloads/，选择Community选项第三步：点击MySQL C 阅读全文

posted @ 2020-09-07 10:14 时光哥哥阅读(205) 评论(0) 推荐(0) 编辑

Linux下安装Python3

摘要： 1.很重要，必须执行此操作，安装好编译环境，c语言也是编译后运行，需要gcc编译器golang，对代码先编译，再运行，python是直接运行yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-d 阅读全文

posted @ 2020-09-07 10:08 时光哥哥阅读(417) 评论(0) 推荐(0) 编辑

2020年8月31日

Python math函数库

摘要： math库常用函数及举例：注意：使用math库前，用import导入该库>>> import math 取大于等于x的最小的整数值，如果x是一个整数，则返回x>>> math.ceil(4.12)5 把y的正负号加到x前面，可以使用0>>> math.copysign(2,-3)-2.0 求x的余阅读全文

posted @ 2020-08-31 14:41 时光哥哥阅读(2156) 评论(0) 推荐(0) 编辑

2020年7月12日

使用scrapy实现分布式爬虫

摘要： scrapy 分布式前言 scrapy 首先是不能实现分布式。因为调度器不能被共享管道不可以被共享分布式首先分布式是什么意识呢？就是需要搭建一个分布式机群，然后在机群的每一台服务器中执行同一组程序，让其对某个网站的数据进行联合分布式爬取。如何实现分布式基于 scrapy +s 阅读全文

posted @ 2020-07-12 15:07 时光哥哥阅读(2395) 评论(1) 推荐(0) 编辑

公告