摘要: 转载至:https://blog.csdn.net/weixin_40976261/article/details/89057633 <!-- flowchart 箭头图标 勿删 --> 1、数据库连接 # 连接配置信息 config = { 'host':'127.0.0.1', 'port':3 阅读全文
posted @ 2019-06-24 16:57 chenyibai 阅读(318) 评论(0) 推荐(0) 编辑
摘要: # 批量插入数据库数据,有则更新,无则追加import pymysqlimport numpy as npimport pandas as pdconn = pymysql.connect( host='127.0.0.1', port=3306, user='root', passwd='root 阅读全文
posted @ 2019-06-21 11:40 chenyibai 阅读(1179) 评论(0) 推荐(0) 编辑
摘要: 介绍 Gensim是一个用于从文档中自动提取语义主题的Python库,足够智能,堪比无 痛人流。 Gensim可以处理原生,非结构化的数值化文本(纯文本)。Gensim里面的算法,比如Latent Semantic Analysis(潜在语义分析LSA),Latent Dirichlet Alloc 阅读全文
posted @ 2019-04-19 13:36 chenyibai 阅读(2515) 评论(0) 推荐(0) 编辑
摘要: 异常内容: 处理办法: 第一步:打开以下目录,并创建pip文件夹 C:\Users\admin\AppData\Roaming 第二步:进入pip文件夹,创建pip.ini文件 第三部:打开pip.ini文件将以下内容复制粘贴进去 [global]index-url = http://mirrors 阅读全文
posted @ 2019-04-17 09:57 chenyibai 阅读(4241) 评论(0) 推荐(1) 编辑
摘要: 各位老铁好,现如今移动端抓取数据是一种趋势化,今天我以抓取移动端搜狐视频为例向大家做一个抓取移动端数据的示例 1.首先下载Fiddler抓包工具: 链接: https://pan.baidu.com/s/1_3l6POqbRFoQjJT02YQ8DQ 提取码: d4n2 复制这段内容后打开百度网盘手 阅读全文
posted @ 2019-04-12 15:17 chenyibai 阅读(1095) 评论(0) 推荐(0) 编辑
摘要: 一、设置Fiddler代理 1.点击Tools-Fiddler Options进入Fiddler Options页面 2.点击Connections,将Fiddler listens on port设为8888,勾选Allow remote computers to connect 3.点击OK,代 阅读全文
posted @ 2019-04-11 19:03 chenyibai 阅读(24000) 评论(0) 推荐(1) 编辑
摘要: 下载地址:https://www.filecroco.com/download-gather-proxy/download/ 下载好之后解压 股 <!--阅读全文(测试用,现在可能不用了)--> <!--防止文章内容有不完整标签--> 下载地址:https://www.filecroco.com/d 阅读全文
posted @ 2019-04-10 11:37 chenyibai 阅读(2739) 评论(0) 推荐(0) 编辑
摘要: formatter = logging.Formatter("%(asctime)s %(levelname)s %(message)s","%Y%b%d-%H:%M:%S") 上面的%Y等是时间格式,所以要想理解上面要表示个什么,先来看一下Python的时间格式. %a - abbreviated 阅读全文
posted @ 2019-04-09 14:16 chenyibai 阅读(5193) 评论(0) 推荐(0) 编辑
摘要: 如下图, 这种错误是由于未安装 vcredist 引起的 下载 vcredist 地址:https://www.microsoft.com/zh-CN/download/details.aspx?id=40784 安装刚才下载的那个软件,位置默认即可,安装成功 然后重新进行安装,成功解决这个问题! 阅读全文
posted @ 2019-04-09 13:09 chenyibai 阅读(42478) 评论(1) 推荐(1) 编辑
摘要: 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: ''' Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代 阅读全文
posted @ 2019-03-27 20:56 chenyibai 阅读(300) 评论(0) 推荐(0) 编辑