随笔 - 313  文章 - 29  评论 - 32  阅读 - 124万 

随笔分类 -  python

一些python的语法
pyspider macbook安装问题汇总
摘要:macbook安装pyspider比较费劲,一方面系统不让你随便写Library,另一方面python的各版本之间没有配套表,调起来很费劲。 经过踩坑后,最后还是决定用conda安装虚拟环境来跑pyspider conda info --envs conda create --name python 阅读全文
posted @ 2022-03-07 02:51 步孤天 阅读(385) 评论(0) 推荐(0) 编辑
python实现mkdir -p的功能
摘要:#!/usr/bin/python # -*- coding: UTF-8 -*- import os, sys path = "/tmp/home/222" try: os.makedirs( path, 0755 ); except Exception,err: if (err.args[0] 阅读全文
posted @ 2021-02-19 09:58 步孤天 阅读(1786) 评论(0) 推荐(0) 编辑
pyspider常见问题汇总
摘要:遇到问题的主要方法就是开日志看打印和分析源代码。 1.如何找到pyspider的安装目录? >>> import os >>> print os.sys.path ['', '/usr/lib64/python27.zip', '/usr/lib64/python2.7', '/usr/lib64/ 阅读全文
posted @ 2020-12-07 15:23 步孤天 阅读(690) 评论(0) 推荐(1) 编辑
pyspider的代码架构解析
摘要:pyspider的主要架构如下图 1. webui 在线编写、调试爬虫脚本; 在线监控任务执行情况; 2. scheduler 调度任务,粗浅的理解就是定时执行爬虫脚本; 这是一个核心部件;不止是定时爬取那么简单。 爬取的时候要递归爬取网页, 爬取网页的时候要设置优先级,优先爬取列表页。 爬虫任务爬 阅读全文
posted @ 2020-12-07 15:20 步孤天 阅读(329) 评论(0) 推荐(0) 编辑
pyspider简单的安装和使用
摘要:pyspider用起来比较简单,还带UI,作为一个存在这么久的系统,其爬虫的框架和设计思路,能让小白们学到很多东西。 对于不常使用爬虫的人来说,整理和复用代码很麻烦。不如用pyspider省事。 pyspider的官方文档地址:http://docs.pyspider.org/en/latest/ 阅读全文
posted @ 2020-12-07 11:17 步孤天 阅读(673) 评论(0) 推荐(0) 编辑
如何读取小说中的七字绝句?
摘要:有些小说作者,写小说的时候喜欢引用一些古诗词。当时看着挺爽的,回头想仔细看看那些诗。但是没有那么多闲心去重新看一遍。 因此用python写个脚本统计一下文中的七字绝句。 #!/usr/bin/python import re f = open("msj.txt") line = f.readline 阅读全文
posted @ 2020-06-14 16:14 步孤天 阅读(267) 评论(0) 推荐(0) 编辑
如何把语音转换成文字
摘要:一、故事背景 公司会议的视频要把别人说的话打成字,虽说自认为打字速度还行,但显然做为一个程序员根本不想用这么笨的办法。 我选择的解决方案是百度。 用法倒是挺简单的,直接到github上下载个代码,然后改个文件名就ok了。 如果你只是要转一个mp3文件,没有什么复杂的需求,直接下载一个"万能君的小工具 阅读全文
posted @ 2019-10-28 14:11 步孤天 阅读(1393) 评论(0) 推荐(0) 编辑
李代数E8 的根系 python绘图
摘要:安装前需安装依赖:(针对Centos7) yum install -y cairo pip install cairocffi 源代码:https://github.com/neozhaoliang/pywonderland/blob/master/src/misc/e8.py # -*- codi 阅读全文
posted @ 2019-06-27 17:20 步孤天 阅读(791) 评论(0) 推荐(0) 编辑
z = z*z + c的分型图如何画
摘要:使用python的图形库。 环境:conda+jupyter notebook 代码如下: import numpy as np from PIL import Image from numba import jit MAXITERS = 200 RADIUS = 100 @jit def colo 阅读全文
posted @ 2019-06-27 14:36 步孤天 阅读(676) 评论(0) 推荐(0) 编辑
python报错函数传参数传多了
摘要:写python的时候报错: Exception in thread 99: Traceback (most recent call last): File "/usr/lib64/python2.7/threading.py", line 812, in __bootstrap_inner self 阅读全文
posted @ 2018-09-29 15:08 步孤天 阅读(1139) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示