04 2023 档案
发表于 2023-04-28 16:15阅读：88评论：0推荐：0
摘要：PyExecJS模块 pyexecjs是一个可以帮助我们运行js代码的一个第三方模块 其使用是非常容易上手的. 但是它的运行是要依赖能运行js的第三方环境的 这里我们选择用node作为我们运行js的位置. 【1】 安装Nodejs 切记. 重启pycharm或者重启电脑. 【2】 安装pyexecj
阅读全文 »
发表于 2023-04-27 16:06阅读：41评论：0推荐：0
摘要：JS工具之三元运算符 【1】格式 三元运算符: 条件表达式?语句1:语句2; let a = 10; let b = 20; let d = a > b? a: b console.log(d); 注释： 条件运算符在执行时，首先对条件表达式进行求值， 如果该值为true，则执行语句1，并返回执行结
阅读全文 »
发表于 2023-04-27 16:06阅读：83评论：0推荐：0
摘要：JS-Function对象之call和apply方法 call，apply都属于Function.prototype的一个方法，它是JavaScript引擎内在实现的， 因为属于Function.prototype，所以每个Function对象实例(就是每个方法)都有call，apply属性。 既然
阅读全文 »
发表于 2023-04-27 16:06阅读：601评论：0推荐：0
摘要：# JS进阶之eval函数和hook函数 ## 【一】eval - eval() 函数计算 JavaScript 字符串，并把它作为脚本代码来执行。 - 如果参数是一个表达式，eval() 函数将执行表达式。 - 如果参数是Javascript语句，eval()将执行 Javascript 语句。
阅读全文 »
发表于 2023-04-27 16:05阅读：46评论：0推荐：0
摘要：JS工具之三元运算符 【1】格式 三元运算符: 条件表达式?语句1:语句2; let a = 10; let b = 20; let d = a > b? a: b console.log(d); 注释： 条件运算符在执行时，首先对条件表达式进行求值， 如果该值为true，则执行语句1，并返回执行结
阅读全文 »
发表于 2023-04-27 16:04阅读：20评论：0推荐：0
摘要：JS进阶之ES6新语法 1. var、let以及const ES6 中引入了关键字 let 和 const 作为 var 的替代。 它们非常有用，如今几乎每个 JavaScript 开发人员都在使用它们。 与关键字 var 不同，这两个关键字具有块作用域。 这意味着当你在块中声明它们时，它们只能在该
阅读全文 »
发表于 2023-04-27 16:04阅读：15评论：0推荐：0
摘要：JS-Function对象之window对象 window 是客户端浏览器对象模型的基类， window 对象是客户端 JavaScript 的全局对象。 一个 window 对象实际上就是一个独立的窗口，对于框架页面来说，浏览器窗口每个框架都包含一个 window 对象。 （1）全局作用域 在客户
阅读全文 »
发表于 2023-04-27 16:03阅读：19评论：0推荐：0
摘要：JS-Function对象之prorotype原型对象 案例1: // 创建方式1 var foo = new Function("console.log('hello world!')") foo() // 创建方式2 function Person() { console.log("hello
阅读全文 »
发表于 2023-04-25 09:06阅读：305评论：0推荐：0
摘要：Redis 报错总结一 Invalid argument during startup: Failed to open the .conf file: redis.window.conf 【1】cmd运行redis-server.exe redis.windows.conf 报错：提示找不到配置文件
阅读全文 »
发表于 2023-04-20 17:19阅读：20评论：0推荐：0
摘要：JS进阶之JS对象 【一】、字符串对象 字符串创建(两种方式) 变量 = “字符串” 字串对象名称 = new String (字符串) var str1="hello world"; //推荐 var str1= new String("hello word"); // 字符串对象的操作 var
阅读全文 »
发表于 2023-04-20 17:16阅读：32评论：0推荐：0
摘要：BS4 【1】简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： ''' Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简
阅读全文 »
发表于 2023-04-20 17:15阅读：24评论：0推荐：0
摘要：第三章. 数据解析之正则 Regular Expression，译作正则表达式或正规表示法，表示有规则的表达式，意思是说，描述一段文本排列规则的表达式。 正则表达式并不是Python的一部分。而是一套独立于编程语言，用于处理复杂文本信息的强大的高级文本操作工具。正则表达式拥有自己独特的规则语法以及一
阅读全文 »
发表于 2023-04-20 17:15阅读：19评论：0推荐：0
摘要：前端基础之JavaScript基础【三】 【1】、jQuery介绍 jQuery是什么 jQuery是一个快速、简洁的JavaScript框架。jQuery设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的
阅读全文 »
发表于 2023-04-20 17:15阅读：29评论：0推荐：0
摘要：前端基础之JavaScript基础【二】 【1】、json序列化和反序列化 JSON：JavaScript 对象表示法，是一种轻量级的数据交换格式。易于人阅读和编写。 // json是一种数据格式, 语法一般是{}或者[]包含起来 // 内部成员以英文逗号隔开,最后一个成员不能使用逗号! // 可以
阅读全文 »
发表于 2023-04-20 17:14阅读：20评论：0推荐：0
摘要：前端基础之JavaScript基础【一】 【1】、JavaScript 的历史 1992年底，美国国家超级电脑应用中心（NCSA）开始开发一个独立的浏览器，叫做Mosaic。 这是人类历史上第一个浏览器，从此网页可以在图形界面的窗口浏览。 但是该浏览器还没有面向大众的普通用户。 1994年10月，N
阅读全文 »
发表于 2023-04-20 17:11阅读：21评论：0推荐：0
摘要：前端基础之CSS CSS就是Cascading Style Sheet的缩写，中文译作“层叠样式表”或者是“级联样式表”，是用于控制网页外观处理并允许将网页的表现与内容分离的一种标记性语言，CSS不需要编译,可以直接由浏览器执行(属于浏览器解释型语言)，是Web网页开发技术的重要组成部分。 那么接下
阅读全文 »
发表于 2023-04-20 17:08阅读：26评论：0推荐：0
摘要：前端基础之HTML 了解了web相关基本概念以后，我们开始正式接触网页开发，网页开发的基础是HTML， 所以，本章内容主要分两部分， 一是介绍HTML的相关概念、发展历史， 二是 创建HTML网页文档和认识HTML的基本结构。 我们学会如何新建一个 HTML 页面和熟记HTML文档的基本结构和主要标
阅读全文 »
发表于 2023-04-20 17:07阅读：10评论：0推荐：0
摘要：web开发核心之flask 【一】基于flask搭建web网站 from flask import Flask, render_template app = Flask(__name__, template_folder="templates") @app.get("/index") def ind
阅读全文 »
发表于 2023-04-20 16:44阅读：35评论：0推荐：0
摘要：web开发核心之http协议 http协议 1. 什么是请求头请求体，响应头响应体 2. URL地址包括什么 3. get请求和post请求到底是什么 4. Content-Type是什么 【一】简介 HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是
阅读全文 »
发表于 2023-04-20 16:42阅读：20评论：0推荐：0
摘要：函数 设计一个程序： 期待结果： * *** ***** ******* ********* *********** ********* ******* ***** *** * * *** ***** ******* ********* *********** ********* ******* *
阅读全文 »
发表于 2023-04-20 16:42阅读：21评论：0推荐：0
摘要：重要数据类型 5.1、列表 5.1.1、列表声明 在实际开发中，经常需要将一组（不只一个）数据存储起来，以便后边的代码使用。 列表就是这样的一个数据结构。 列表会将所有元素都放在一对中括号[ ]里面，相邻元素之间用逗号,分隔， 如下所示： [element1, element2, element3,
阅读全文 »
发表于 2023-04-20 16:41阅读：40评论：0推荐：0
摘要：流程控制语句 程序是由语句构成，而流程控制语句 是用来控制程序中每条语句执行顺序的语句。 可以通过控制语句实现更丰富的逻辑以及更强大的功能。 几乎所有编程语言都有流程控制语句，功能也都基本相似。 其流程控制方式有 顺序结构 分支结构 循环结构 这里最简单最常用的就是顺序结构，即语句从上至下一一执行。
阅读全文 »
发表于 2023-04-20 16:40阅读：54评论：0推荐：0
摘要：三、基础语法 3.1、变量 3.1.1、python的标识符规范 简单地理解，标识符就是一个名字，就好像我们每个人都有属于自己的名字，它的主要作用就是作为变量、函数、类、模块以及其他对象的名称。Python中标识符的命名不是随意的，而是要遵守一定的命令规则 标识符是由字符（A~Z 和 a~z）、下划
阅读全文 »
发表于 2023-04-20 16:39阅读：48评论：0推荐：0
摘要：Python语言介绍 2.1、了解Python语言 Python 是1989 年荷兰人 Guido van Rossum （简称 Guido）在圣诞节期间为了打发时间，发明的一门面向对象的解释性编程语言。 Python来自Guido所挚爱的电视剧Monty Python's Flying Circu
阅读全文 »
发表于 2023-04-20 16:37阅读：43评论：0推荐：0
摘要：Python基础之编程语言介绍 1.1、什么是编程语言 编程语言是用来控制计算机的一系列指令（Instruction），它有固定的格式和词汇（不同编程语言的格式和词汇不一样）。就像我们中国人之间沟通需要汉语，英国人沟通需要英语一样，人与计算机之间进行沟通需要一门语言作为介质，即编程语言。 编程语言的
阅读全文 »
发表于 2023-04-20 09:39阅读：140评论：0推荐：0
摘要：分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优
阅读全文 »
发表于 2023-04-20 09:39阅读：83评论：0推荐：0
摘要：Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中，spider 如果要重新发送请求的话，就需要自己解析页面，然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp
阅读全文 »
发表于 2023-04-19 10:15阅读：215评论：0推荐：0
摘要：Scrapy框架进阶之start_requests重写 start_rquests重写 scrapy中start_url是通过start_requests来进行处理的， 其实现代码如下 def start_requests(self): cls = self.__class__ if method_
阅读全文 »
发表于 2023-04-19 10:15阅读：32评论：0推荐：0
摘要：Scrapy框架之Settings配置文件 1. 为什么项目中需要配置文件 在配置文件中存放一些公共变量，在后续的项目中方便修改，如：本地测试数据库和部署服务器的数据库不一致 2. 配置文件中的变量使用方法 变量名一般全部大写 导入即可使用 3. settings.py中的重点字段和含义 - USE
阅读全文 »
发表于 2023-04-19 10:14阅读：14评论：0推荐：0
摘要：Scrapy框架之下载中间件 class MyDownMiddleware(object): def process_request(self, request, spider): """ 请求需要被下载时，经过所有下载器中间件的process_request调用 :param request: :
阅读全文 »
发表于 2023-04-07 15:58阅读：22评论：0推荐：0
摘要：Scrapy框架详解 【1】 Spider类 Spiders是定义如何抓取某个站点（或一组站点）的类，包括如何执行爬行（即跟随链接）以及如何从其页面中提取结构化数据（即抓取项目）。 换句话说，Spiders是您为特定站点（或者在某些情况下，一组站点）爬网和解析页面定义自定义行为的地方。 1、 生成初
阅读全文 »
发表于 2023-04-07 15:57阅读：37评论：0推荐：0
摘要：Scrapy框架简介 （1）基本介绍 Scrapy一个开源和协作的框架， 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。 但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返
阅读全文 »
发表于 2023-04-06 11:15阅读：122评论：0推荐：0
摘要：web自动化 随着互联网的发展，前端技术也在不断变化，数据的加载方式也不再是单纯的服务端渲染了。 现在你可以看到很多网站的数据可能都是通过接口的形式传输的， 或者即使不是接口那也是一些 JSON 的数据，然后经过 JavaScript 渲染得出来的。 这时，如果你还用 requests 来爬取内容，
阅读全文 »
发表于 2023-04-02 20:28阅读：21评论：0推荐：0
摘要：PyMongo 在这里我们来看一下Python3下MongoDB的存储操作，在本节开始之前请确保你已经安装好了MongoDB并启动了其服务，另外安装好了Python的PyMongo库。 安装： pip install pymongo 添加文档 import pymongo client = pymo
阅读全文 »
发表于 2023-04-02 20:28阅读：16评论：0推荐：0
摘要：MongoDB 一般爬虫使用的数据库，是根据项目来定的。 如需求方指定了使用什么数据库、如果没指定，那么决定权就在爬虫程序员手里， 如果自选的话，mysql 和mongodb 用的都是比较多的。 但不同的数据库品种有各自的优缺点，不同的场景任何一种数据库都可以用来存储，但是某种可能会更好。 比如如果
阅读全文 »
发表于 2023-04-02 20:26阅读：15评论：0推荐：0
摘要：Python操作redis （1）连接redis # 方式1 import redis r = redis.Redis(host='127.0.0.1', port=6379) r.set('foo', 'Bar') print(r.get('foo')) # 方式2 import redis po
阅读全文 »
发表于 2023-04-02 20:26阅读：16评论：0推荐：0
摘要：Redis redis介绍 定义 Redis（Remote Dictionary Server ，远程字典服务） 是一个使用ANSIC编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库，是NoSQL数据库。 redis的出现主要是为了替代早期的Memcache缓存系统的。 map内存型(数
阅读全文 »
发表于 2023-04-02 20:24阅读：23评论：0推荐：0
摘要：Python操作MySQL import pymysql # 打开数据库连接 db = pymysql.connect(host='localhost', user='root', passwd='...', port=3306,datebase='...') print('连接成功！') # 使用
阅读全文 »
发表于 2023-04-02 20:22阅读：24评论：0推荐：0
摘要：基本概念 前面的学习中我们提到，mysql是关系型数据库， 所以我们要操作mysql就需要使用SQL（结构化查询语言）。 SQL规范 1. 在数据库管理系统中，SQL语句关键字不区分大小写(但建议用大写) ，参数区分大小写。建议命令大写，数据库名、数据表名、字段名统一小写，如数据库名、数据表名、字段
阅读全文 »
发表于 2023-04-02 20:21阅读：9评论：0推荐：0
摘要：数据库 假设现在你已经是某大型互联网公司的高级程序员，让你写一个火车票购票系统，来hold住十一期间全国的购票需求，你怎么写？ 在同一时段抢票的人数如果太多，那么你的程序不可能运行在一台机器上，应该是多台机器一起分担用户的购票请求。 那么问题就来了，票务信息的数据存在哪里？存在文件里么？ 如果存储在
阅读全文 »