随笔分类 - python与爬虫杂记
收集学习python与爬虫开发过程中遇到系列问题
摘要：相信大家遇到过下面这种情况 当我们在当前项目下引入了其它项目的代码，这是其它项目的包的导入路径是不用于当前项目的，这样导致项目无法正常起来，但是我们又不可能一个个文件去处理，这时可以用下面的方式解决 pycharm直接设置 在需要设置的项目右键然后按图片所示操作即可解决 python代码实现 假设需
阅读全文
摘要：依赖第三方包 from requests_toolbelt import MultipartEncoder import requests from requests_toolbelt import MultipartEncoder m = MultipartEncoder( fields=quer
阅读全文
摘要：安装 默认情况下，以这种方法可以实现安装 pip install flask_apscheduler 如果出现超时，可以以下面这种方式安装 pip install flask_apscheduler -i http://mirrors.aliyun.com/pypi/simple/ 使用 配置相关功
阅读全文
摘要：封装sql提交和回滚 class SQLAlchemy(_SQLAlchemy): @contextmanager def auto_commit(self): try: yield self.session.commit() except Exception as e: self.session.
阅读全文
摘要：数据来源：tushare 署名：406940 tushare是一个股票行情数据接口，通过它能获取到大量的股票数据，数据一多，必然影响爬取速度，本章我要展示的是在同步、asyncio和线程池三种情况下去爬tushare六支差不多一年的历史分笔数据 同步 同步是在一个多线程下执行，程序按照代码执行顺序一
阅读全文
摘要：python爬虫工程师面经 前言面经总结发展相关问题爬虫基础相关问题工作经验相关问题 总结 前言 过年期间，经过自我慎重的考虑后，终于决定在2月份向公司提出了辞职，说实话很慌，也做好了长时间找不到工作的准备，只是继续呆在公司对自我发展毫无意义，找了差不多一个月，面试了六家公司，最后确定了一份工作，在
阅读全文
摘要：假设有这么一道题，拿reserve去跟first和second两个值进行比较，逻辑如下： second <——0 < reserve <= second count <—— second < reserve <= first 0 <——otherwise 实现方法如下： 条件运算 def compa
阅读全文
摘要：基于smtplib def start(): # 邮箱服务地址 mail_host = 'smtp.qq.com' # 邮箱用户名 mail_user = '' # 邮箱密码 mail_pass = '' # 邮件发送方邮箱地址 sender = '' # 邮件接受方邮箱地址，注意这里是一个列表<l
阅读全文
摘要：表格解析 导入包 import xlrd 下面方法针对的是表格的每列数据是有标题栏的，通过锁定标题栏，然后以标题栏为字典的key，以每行的数据分别为对应的value，这样就获得便捷的数据 file_content = base64.b64decode(body) book = xlrd.open_w
阅读全文
摘要：import bsddb提示没有这个库，使用pip install bsddb3安装 安装时如果报以下错误： 参考： 先sudo apt install libdb-dev 再pip install bsddb3 pip虽然能安装，但是还是无法解决问题，试试用下面的方式安装 conda instal
阅读全文
摘要：tkinter手记 引入模块与创建实例窗口属性设置退出时弹窗确定如何向绑定方法中传递参数按钮绑定快捷键鼠标放在按钮提示信息输入框接收数据如何显示图片动态更改控件的属性实现下拉菜单实现切换导航栏实现列表解决获取不到新窗口文本框内容推荐参考文档 引入模块与创建实例 import tkinter as t
阅读全文
摘要：前端代码展示 <div class="modal fade" id="createResource" tabindex="-1" role="dialog" aria-labelledby="seeUserModalLabel"> <div class="modal-dialog" role="do
阅读全文
摘要：题目描述 实现一个算法，确定一个字符串 s 的所有字符是否全都不同。 输入: s = “12234” 输出: false 输入: s = “1234” 输出: true 题解 使用set的元素唯一特性实现 return len(astr) == len(set(list(astr))) 循环字符串写
阅读全文
摘要：登录页登录button 制作一个登录页时，我们需要对登陆用户输入的账号和密码与数据库匹配，验证其账号和密码的正确，这个时候会遇到一个问题，登录按钮类型是用submit还是button呢 <input type="submit" value="登录"/> <input type="button" va
阅读全文
