随笔分类 -  种田技术

1 2 下一页
农民要有农民的样，种田技术不能丢
yarn更新依赖报错:Extracting tar content of undefined failed, the file appears to be corrupt
摘要：今天从一个git库里更新代码，用yarn安装依赖一直报错。提示如下：Extracting tar content of undefined failed, the file appears to be corrupt，百思不得其解，查了资料说淘宝的镜像源不能用了。 用yarn install --r 阅读全文
posted @ 2024-07-15 13:47 5255号蜘蛛精 阅读(345) 评论(0) 推荐(0) 编辑
.gitignore文件不生效
摘要：解决方案 清除缓存文件 git rm -r --cached . git add . git commit -m ".gitignore重写缓存成功" git push 1 2 3 4 5 重新提交后发现.gitignore文件生效了 原理解读 .gitignore文件只会在第一次提交项目的时候写入 阅读全文
posted @ 2022-07-01 09:22 5255号蜘蛛精 阅读(1676) 评论(0) 推荐(0) 编辑
用Navicat生成数据字典的方法
摘要：SELECT t.TABLE_NAME AS 表名, t.COLUMN_NAME AS 字段名, t.COLUMN_TYPE AS 数据类型, CASE IFNULL(t.COLUMN_DEFAULT,'Null') WHEN '' THEN '空字符串' WHEN 'Null' THEN 'NUL 阅读全文
posted @ 2022-03-14 10:25 5255号蜘蛛精 阅读(301) 评论(0) 推荐(0) 编辑
Apache Tomcat安装为Linux服务
摘要：安装Apache Tomcat过程咱们就不说了。单说说如何把Tomcat安装为Linux服务，其它的比如nginx,apache等需要默认自启动的，都可以用此方法，大同小异。比如，我的Apache Tomcat安装在/usr/local/apache-tomcat-9.0.43/。 第一步 复制,重 阅读全文
posted @ 2021-03-11 16:46 5255号蜘蛛精 阅读(106) 评论(0) 推荐(0) 编辑
CentOS6的yum报错[Errno 14] PYCURL ERROR 22解决方法
摘要：经常搞Linux的人都知道，Linux有很多发行版，比如：Ubuntu、Debian、Fedora、Arch Linux、openSUSE，不同版的软件源的定义方法是不一样的，我们知道，最近CentOS6已经停止更新支持，同时官方也把yum源删除了，目前CentOS 6系统使用yum命令安装软件包基 阅读全文
posted @ 2021-03-11 15:43 5255号蜘蛛精 阅读(1208) 评论(0) 推荐(1) 编辑
Python库！几乎覆盖所有
摘要：环境管理管理 Python 版本和环境的工具 p – 非常简单的交互式 python 版本管理工具。 pyenv – 简单的 Python 版本管理工具。 Vex – 可以在虚拟环境中执行命令。 virtualenv – 创建独立 Python 环境的工具。 virtualenvwrapper- v 阅读全文
posted @ 2020-07-06 17:42 5255号蜘蛛精 阅读(245) 评论(0) 推荐(0) 编辑
判断Http服务器是否支持支持断点续传
摘要：Http服务器有很多，比如,比较著名的有Apache、Nginx等，Apache会默认开启对断点续传的支持。因此，如果直接通过Web服务器来提供文件的下载，可以不必做特别的配置，即可享受到断点续传的好处。断点续传是在发起HTTP请求的时候加入RANGE头来告诉服务器客户端已经下载了多少字节。等所有这 阅读全文
posted @ 2020-01-09 18:06 5255号蜘蛛精 阅读(1550) 评论(1) 推荐(0) 编辑
最全Html标签Meta介绍
摘要：今天查Html手册时，又有了新的发现。也就这机会，好好总结下HTML中Meta的使用。 HTML <meta> 标签，所有浏览器都支持 <meta> 标签。它提供关于HTML文档的元数据。元数据不会显示在页面上，但是对于机器是可读的。它可用于浏览器（如何显示内容或重新加载页面），对搜索引擎和更新频度 阅读全文
posted @ 2020-01-09 16:54 5255号蜘蛛精 阅读(715) 评论(0) 推荐(0) 编辑
用PHP整理照片和视频文件
摘要：这个年代，谁要没有几张照片都对不起自己。从有相机到照的第一张照片起，留下了太多美好的记忆，记忆已成过往，回忆却希望永恒。奈何这些年照片太多，粗略看了下，将近70G，从这些个照片里找些回忆，翻找起来太麻烦，作为一个农场主的“老农民”，必须得想个办法整理下。梳理了自己的问题和需求如下： 花了2小时，整理 阅读全文
posted @ 2020-01-08 12:26 5255号蜘蛛精 阅读(421) 评论(0) 推荐(0) 编辑
scrapy-redis组件配置用例
摘要：# DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"### from scrapy_redis.scheduler import Scheduler# from scrapy_redis.queue import PriorityQ 阅读全文
posted @ 2019-12-31 15:49 5255号蜘蛛精 阅读(188) 评论(0) 推荐(0) 编辑
Scrapy+seleninu抓取内容同时下载图片几个问题
摘要：使用了Scrapy+Seleninm+Scrapy_redis抓取了详情页的内容和图片，贴出需要完善和出问题的代码，做部分解析和说明。 # -*- coding: utf-8 -*-import time;from scrapy.linkextractors import LinkExtractor 阅读全文
posted @ 2019-12-27 18:28 5255号蜘蛛精 阅读(307) 评论(0) 推荐(1) 编辑
无界浏览器Chorme命令行开关
摘要：List of Chromium Command Line Switches Chromium命令行开关列表 There are lots of command lines which can be used with the Google Chrome browser. Some change b 阅读全文
posted @ 2019-12-20 11:38 5255号蜘蛛精 阅读(1467) 评论(0) 推荐(0) 编辑
Scrapy Crawl 运行出错 AttributeError: 'xxxSpider' object has no attribute '_rules' 的问题解决
摘要：后来仔细看了下，跟官方不一样的就是自己重写了init初始化方法，而根据这个提示的日志，应该是覆盖了CrawlSpider的init方法但是没有调用父类的init导致_rules这个属性没有声明导致的。所以如果我们的Spider是从CrawlSpider继承过来的，并且自己需要实现__init__ 方 阅读全文
posted @ 2019-12-19 11:01 5255号蜘蛛精 阅读(1145) 评论(0) 推荐(0) 编辑
Spider、xmlSpider、FeedSpider、CrawlSpider、RedisSpider分别作用
摘要：Spider classscrapy.spider.Spider Spider是最简单的spider，也是scrapy的模板类的basic模板所对应的spider，直接想通过scrapy genspider模板生成实例代码，就是这个模板生成的哦，查询scrapy的模板都有什么的话，scrapy ge 阅读全文
posted @ 2019-12-18 17:16 5255号蜘蛛精 阅读(603) 评论(0) 推荐(0) 编辑
Scrapy中xpath用到中文报错
摘要：问题描述 links = sel.xpath('//i[contains(@title,"置顶")]/following-sibling::a/@href').extract() 报错：ValueError: All strings must be XML compatible: Unicode o 阅读全文
posted @ 2019-12-17 18:44 5255号蜘蛛精 阅读(360) 评论(0) 推荐(0) 编辑
xpath无法匹配tbody标签
摘要：做抓取内容时，发现table里有tbody定位不准的问题。用Xpath Helper反复测试都没有问题。内容如下： //*[@id="b_1_1"]/table/tbody/tr[2]/td[2]/ 在程序里反复测试都得不到正确的值。 修改成： //*[@id="b_1_1"]/table//tr[ 阅读全文
posted @ 2019-12-17 16:38 5255号蜘蛛精 阅读(1026) 评论(0) 推荐(0) 编辑
Markdown基本语法
摘要：Markdown是一种纯文本格式的标记语言。通过简单的标记语法，它可以使普通文本内容具有一定的格式。 相比WYSIWYG编辑器 优点： 1、因为是纯文本，所以只要支持Markdown的地方都能获得一样的编辑效果，可以让作者摆脱排版的困扰，专心写作。 2、操作简单。比如:WYSIWYG编辑时标记个标题 阅读全文
posted @ 2019-12-06 14:34 5255号蜘蛛精 阅读(154) 评论(0) 推荐(0) 编辑
Unable to open underlying table which is differently defined or of non-MyISAM type or doesn't exist
摘要：用Mysql做日志表表平行拆分时，偶尔出现Unable to open underlying table which is differently defined or of non-MyISAM type or doesn't exist，而迷茫。一直找不到原因。 其实，出现这种问题的原因归结起来 阅读全文
posted @ 2019-12-06 11:25 5255号蜘蛛精 阅读(2451) 评论(0) 推荐(0) 编辑
adsl拨号服务器构建代理池
摘要：一、工具准备 动态vps: 我用的是云立方的动态vps，0.5G内存，11G硬盘，20G宽带，一年1800元，动态vps主要是运行代理服务，比较耗宽带，通过拨号来更换IP，实现动态代理的效果固定IP服务器：用的阿里云服务器，1核1G内存，40G云盘，一年836元，该服务器主要是实时获取动态vps的I 阅读全文
posted @ 2019-11-19 16:54 5255号蜘蛛精 阅读(987) 评论(0) 推荐(1) 编辑
python爬虫防止IP被封的一些措施
摘要：在编写爬虫爬取数据的时候，因为很多网站都有反爬虫措施，所以很容易被封IP，就不能继续爬了。在爬取大数据量的数据时更是瑟瑟发抖，时刻担心着下一秒IP可能就被封了。 本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。 伪造User-Agent 在请求头中把User 阅读全文
posted @ 2019-11-19 16:52 5255号蜘蛛精 阅读(1010) 评论(0) 推荐(0) 编辑

1 2 下一页
点击右上角即可分享
微信分享提示