随笔分类 - python
摘要：1.在了解分布式爬虫之前先看看爬虫流程会好理解一些 1.1 爬虫算法流程 1.2 scrapy框架简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘， 信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，
阅读全文
摘要：1. Centos Docker安装 转载：菜鸟教程 https://www.runoob.com/docker/centos-docker-install.html 使用官方安装脚本自动安装 安装命令如下： curl -fsSL https://get.docker.com | bash -s d
阅读全文
摘要：找了很多Docker的管理工具，发现宝塔的里面有一款软件Docker管理器，可以非常方便的帮助我们快速构建Docker系统和使用添加容器，帮助且提升了小白用户的部署速度，下面展示宝塔软件Docker管理器的使用以及相关内容。 给服务器安装一个宝塔面板 Docker管理软件 在软件商店搜索处输入“do
阅读全文
摘要：Linux系统中python默认版本为python2.7，修改为python3 项目上传码云 # 查询系统本系统中安装的python版本 ls -l /usr/bin/python* 1、在虚拟机上新建虚拟环境 # 系统中python默认版本为python2.7，可以将其修改为python3 # 第
阅读全文
摘要：大致意思是：Django需要SQLite 3.8.3或更高版本，而现在的版本为3.7.17在服务器上刚部署完Django项目，python manage.py runserver 0.0.0.0:8000启动启动的时候报错：django.core.exceptions.ImproperlyConfi
阅读全文
摘要：大多数情况下，网站都会根据我们的请求头信息来区分你是不是一个爬虫程序，如果一旦识别出这是一个爬虫程序，很容易就会拒绝我们的请求，因此我们需要给我们的爬虫手动添加请求头信息，来模拟浏览器的行为，但是当我们需要大量的爬取某一个网站的时候，一直使用同一个User-Agent显然也是不够的，因此，我们本节的
阅读全文
摘要：经常会在爬虫去标题时使用，之前写过，但是同事问我， 我没有从博客中收录，最后从代码中找到了才发给了他，所以这次补充到博客中。 拿table标签举例（xpath中的内容） "table/tr[position()>1]" 转载：https://blog.csdn.net/qq_38403590/art
阅读全文
摘要：本文主要介绍了scrapy爬虫部署服务器的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 目录 一、scrapy爬虫部署服务器 scrapy通过命令行运行一般只用于测试环境，而用于运用在生产环境则一般都部署在服务器中进行
阅读全文
摘要：一、问题： 我在使用xpath获取文章内容的时候会遇到，多个相同的标签在同一级下面，但是我们只需要获取一部分的内容。比如我不想需要原标题这些内容。 二、解决： Xpath中有一个position()的函数，通过这个函数我可以获取到我想要的内容。 通过标签的位置我们就可以查询到我们所需要获取的内容。
阅读全文
摘要：官方文档如下： 具体settings.py里面配置如下代码： LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'handlers': { 'console':{ 'level':'DEBUG', 'class':'loggin
阅读全文
摘要：在默认设置下，uwsgi本身不会立即加载修改后的文件。nginx + uwsgi + django 部署的站点，如果修改了py代码，需要重新启动 uwsgi 才会生效。如果有需要 Django 代码改动时立即生效，可以在启动 uwsgi 的 ini 的配置文件里加入参数py-autoreload =
阅读全文
摘要：1，使用kindeditor进行了上传图片功能，存储到后台的html代码为： KindEditor 2，我把这个unicode字符串返回到前台的模板，结果显示了html代码： KindEditor 3，自己开始的解决办法： 存的时候进行escape content = cgi.escape(cont
阅读全文
摘要：Python环境下安装MQTT也很简单，需要注意的就是不要输错命令在Python3环境下安装Python MQTT的命令是： pip3 install paho-mqtt 使用Python MQTT 编写Python MQTT脚本代码如下： # 为了能在外部脚本中调用Django ORM模型，必须配
阅读全文
摘要：supervisor是一个Python开发的通用的进程管理程序，可以管理和监控Linux上面的进程，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启，但它不能管理原本就是daemon的进程。 supervisor的安装和管理都非常方便 1. 安装 pip insta
阅读全文
摘要：环境：Ubuntu 19.10python 3.6django 2.1django-rq 2.2 安装django-rq pip install django-rq 使用方式 配置settings # django-rq配置,setting中的配置 RQ_QUEUES = { 'default':
阅读全文
摘要：转载：https://blog.csdn.net/weixin_45743420/article/details/113134115 宝塔面板守护进程 命令 计划任务 命令
阅读全文
摘要：很多同学会使用宝塔面板的python项目管理器部署django/flask等python项目。但是对于使用python项目管理器安装的python在哪，以及如何让安装的python能够应用于系统全局还不是很清楚，今天我们就来讲一讲宝塔面板的python使用。 宝塔安装如何python步骤1：安装Py
阅读全文
摘要：接口返回值 json { "result": [ { "title": "用户【】", "id": 1, "field": "", "spread": true, "children": [ { "title": "管理员【/admin/User/index】", "id": 2, "field":
阅读全文
摘要：1. 在Python中通过字典或列表进行FOR循环时,如何获取项的键？ 对于lists和dicts ,答案是不同的. A list没有key.每个项目都有一个索引.您可以枚举这样的列表: >>> l = ['A','B','C','D'] >>> for index, item in enumera
阅读全文
摘要：django使用layui的{{}}冲突 在使用layui的时候，需要使用到layui数据表格的模板，这时候就遇到{{}}转义的问题。在django中{{}}是获取变量值，这就跟前端的layui的模板冲突了，这时候就需要django不转译指定的内容。 解决方案： 从django1.5开始，支持{%v
阅读全文
