摘要: 1 from scrapy.selector import Selector, HtmlXPathSelector 2 from scrapy.http import HtmlResponse 3 html = """<!DOCTYPE html> 4 <html> 5 <head lang="en 阅读全文
posted @ 2023-12-08 15:12 木屐呀 阅读(6) 评论(0) 推荐(0) 编辑
摘要: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文
posted @ 2023-12-08 15:12 木屐呀 阅读(7) 评论(0) 推荐(0) 编辑
摘要: Python的Web框架中Tornado以异步非阻塞而闻名,本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞的Web框架,其中便是众多异步非阻塞Web框架内部原理。 图示: 上面的是异步IO模块:作为客户端发送请求给服务端,实现同时发多个请求的的功能,select监听socket是否有 阅读全文
posted @ 2023-12-08 15:12 木屐呀 阅读(11) 评论(0) 推荐(0) 编辑
摘要: WebSocket协议是基于TCP的一种新的协议。WebSocket最初在HTML5规范中被引用为TCP连接,作为基于TCP的套接字API的占位符。它实现了浏览器与服务器全双工(full-duplex)通信。其本质是保持TCP连接,在浏览器和服务端通过Socket进行通信。 Http连接和Webso 阅读全文
posted @ 2023-12-08 15:12 木屐呀 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 模型绑定有两个主要功能: 自动生成html表单 用户输入验证 在之前学习的Django中为程序员提供了非常便捷的模型绑定功能,但是在Tornado中,一切需要自己动手!!! 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset=" 阅读全文
posted @ 2023-12-08 15:11 木屐呀 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 一、cookie Tornado中可以对cookie进行操作,并且还可以对cookie进行签名以防止伪造 a、基本操作 1 class MainHandler(tornado.web.RequestHandler): 2 def get(self): 3 if not self.get_cookie 阅读全文
posted @ 2023-12-08 15:11 木屐呀 阅读(80) 评论(0) 推荐(0) 编辑
摘要: Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp,不过为了能有效利用非阻塞式服务器环境,这个 Web 框架还包含了一些相关的有用工具 和优化。 Tornado 和现 阅读全文
posted @ 2023-12-08 15:11 木屐呀 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 为什么要用版本控制? 假设你在的公司要上线一个新功能,你们开发团队为实现这个新功能,写了大约5000行代码,上线没2天,就发现这个功能用户并不喜欢,你老板让你去掉这个功能,你怎么办?你说简单,直接把5000行代码去掉就行了,但是我的亲,说的简单,你的这个功能写了3周时间,但你还能记得你是新增加了哪5 阅读全文
posted @ 2023-12-06 17:41 木屐呀 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 一.Python3安装 1.安装方式是源码包安装,需要用到 gcc,make 1 yum install gcc make 2 3 安装python3需要的依赖包有:openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sql 阅读全文
posted @ 2023-12-06 17:40 木屐呀 阅读(22) 评论(0) 推荐(0) 编辑
摘要: rabbitmq 消息中间件 -消息队列 异步 开发语言erlang 爱立信公司 1.安装python rabbitMQ module 1 pip3 install pika 关闭防火墙 1 service iptables stop 关闭防火墙 2.实现最简单的队列通信 send端: 1 #sen 阅读全文
posted @ 2023-12-06 17:39 木屐呀 阅读(3) 评论(0) 推荐(0) 编辑
//增加一段JS脚本,为目录生成使用