随笔分类 - Python
摘要：将较大的文件加载进入内存再计算行数时，可能会出现如下内存错误： MemoryError: Unable to allocate 128. KiB for an array with shape (16384,) and data type float64 因此我们可以一块一块的读取大文件并进行计数，
阅读全文
摘要：1、在windows文件管理器中输入%APPDATA%，进入C:\Users\lintianyu\AppData\Roaming的目录 2、进入pip目录，新建pip.ini文件，文件内容为：（豆瓣镜像） [global] timeout = 60 index-url = http://pypi.d
阅读全文
摘要：错误原因：tensorflow版本安装有问题 解决办法：卸载原来的版本： pip uninstall tensorflow pip uninstall tensorflow-gpu 找到对应python 和cuda版本对应的tensorflow,重新安装，对应关系为：
阅读全文
摘要：解决办法： 切换镜像源地址再安装，切换到豆瓣源;将库包名替换掉 pip install 库包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
阅读全文
摘要：之前使用PageRank提取关键结点的方法是计算每个结点的PageRank的值，然后提取top10%的结点作为关键结点。但是PageRank是从全局视角给网页排序，从而得到的每个结点的PageRank的值。 这篇文章结合复杂网络的局部特征和全局特征，通过标准化每个节点的度和中间性中心性，利用节点之间
阅读全文
摘要：在使用statsmodel中的logistic回归，调用fit时报错：numpy.linalg.LinAlgError: Singular matrix 检查日志发现：在报错附近有这样一行：statsmodel.logit Maximum number of iterations has been
阅读全文
摘要：第一种是统计学方法，需要用到 statsmodels包 statsmodels是统计和计量经济学的package，包含了用于参数评估和统计测试的实用工具 第二种是机器学习，需要使用sklearn中的LogisticRegression 下面以计算dis1-->dis2的OR值为例，也就是说dis1为
阅读全文
摘要：示例代码如下： from celery import Celery app = Celery('tasks', backend='redis://×××:6379/1', broker='redis://×××:6379/0') @app.task def add(x, y): return x +
阅读全文
摘要：在训练keras时，发现不使用GPU进行计算，而是采用CPU进行计算，导致计算速度很慢。 用如下代码可检测tensorflow的能使用设备情况： from tensorflow.python.client import device_lib print(device_lib.list_local_d
阅读全文
摘要：安装完gpu版本的tensorflow,导入正常，但是tf.test.is_gpu_available()一直返回False,解决办法： 1、打开NVIDIA控制面板，查看CUDA的驱动版本，如果版本太低，到Nvidia Experience更新驱动程序。默认安装即可。（安装过程自行百度） 2、如果
阅读全文
摘要：题目描述： 让我们定义dn为：dn=pn+1−pn，其中pi是第i个素数。显然有d1=1，且对于n>1有dn是偶数。“素数对猜想”认为“存在无穷多对相邻且差为2的素数”。 现给定任意正整数N(<)，请计算不超过N的满足猜想的素数对的个数。 输入格式: 输入在
阅读全文
摘要：请编写程序，找出一段给定文字中出现最频繁的那个英文字母。 输入格式： 输入在一行中给出一个长度不超过 1000 的字符串。字符串由 ASCII 码表中任意可见字符及空格组成，至少包含 1 个英文字母，以回车结束（回车不算在内）。 输出格式： 在一行中输出出现频率最高的那个英文字母及其出现次数，其间以
阅读全文
摘要：输入样例： 3 92 5 233 输出样例： 3 25392 1 25 No ‘解题思路：判断的时候将结果转换成字符串，判断后面几位数字和输入数字是否相同，掉进了N是从1到10的坑，而不是1到9 N = input() k_num = list(map(int, input().split()))
阅读全文
摘要：题目描述： 做作业的时候，邻座的小盆友问你：“五乘以七等于多少？”你应该不失礼貌地围笑着告诉他：“五十三。”本题就要求你，对任何一对给定的正整数，倒着输出它们的乘积。 输入格式： 输入在第一行给出两个不超过 1000 的正整数 A 和 B，其间以空格分隔。 输出格式： 在一行中倒着输出 A 和 B
阅读全文
摘要：题目描述： 本题要求你帮助某网站的用户注册模块写一个密码合法性检查的小功能。该网站要求用户设置的密码必须由不少于6个字符组成，并且只能有英文字母、数字和小数点 .，还必须既有字母也有数字。 输入格式： 输入第一行给出一个正整数 N（≤ 100），随后 N 行，每行给出一个用户设置的密码，为不超过 8
阅读全文
摘要：思路解析： 1、我们需要明确爬取数据的目的：为了按热度查看主播的在线观看人数 2、浏览网页源代码，查看我们需要的数据的定位标签 3、在代码中发送一个http请求，获取到网页返回的html(需要注意的是，许多网页都有反爬虫机制，所以需要在请求中添加user-agent,伪装成客户端访问) 4、对获取到
阅读全文
摘要：错误原因：主要是由于该网站禁止爬虫导致的，可以在请求加上头信息，伪装成浏览器访问User-Agent。 新增user-agent信息： headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537
阅读全文
摘要：问题描述：在使用python爬取斗鱼直播的数据时，使用str(读取到的字节，编码格式)进行解码时报错：'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte 代码如下： from urllib import req
阅读全文
摘要：问题背景：当我们爬取网页信息时，对于一些标签的提取是没有意义的，所以需要提取标签中间的信息。 解决办法：用到了re包下的函数 方法1：用到了research()方法和group()方法 方法2：用到了findall（）方法 具体实现： import re # 匹配两个字符中间的所有字符 a = '<
阅读全文