Qiao_Zhi

摘要： 0. 基于docker 启动镜像 docker run -d --name clickhouse-server1 --ulimit nofile=262144:262144 clickhouse/clickhouse-server 1. 简单使用 创建数据库 ac9033c7171a :) crea 阅读全文

摘要： 1. 简介 ​ Python中的装饰器是一种可以装饰其它对象的工具。类似于装饰模式，实际是对原有对象进行功能上的增强(原有对象可以是对象、函数、类)。其使用像java 的注解。 ​ 该工具本质上是一个可调用的对象（callable），所以装饰器一般可以由函数、类来实现。装饰器本身需要接受一个被装饰的 阅读全文

摘要： 1. 概念 ​ 窗口是用来处理无界流的核心。定义窗口一般是包含起始时间、不包含结束时间的，用数学符号表示就是一个左闭右开的区间，例如0-10s的窗口表示为[0, 10)。 ​ 需要注意的是，Flink 的窗口不是静态准备好的，而是动态创建的。当有落在这个窗口区间范围的数据到达时，才会创建对应的窗口。 阅读全文

摘要： ck 官网： https://clickhouse.com/ docker 安装ck参考： https://hub.docker.com/r/clickhouse/clickhouse-server/ 1. 简介 1. 简单介绍 ​ ClickHouse 是俄罗斯的Yandex于2016 年开源的列 阅读全文

摘要： 1. 时间语义 ​ 有两个非常重要的时间概念：数据的产生时间(数据自带的创建时间)和处理时间(执行处理操作的机器的系统时间)。 ​ 另外还有一个摄入时间，指的是数据进入flink数据流的时间，也就是source 算子读入数据的时间。 ​ 一般以事件时间为基准，比如我们统计PV、UV 等指标，我们就需 阅读全文

摘要： 1. 安装 pip install scrapy 2. scrapy简单运行以及架构 1. 项目创建以及运行 创建项目 aaa@localhost pyspace % scrapy startproject demo1 New Scrapy project 'demo1', using templa 阅读全文

摘要： python的线程类似于java 的线程，也区分守护线程和非守护线程。守护线程的作用就是为其他线程的运行提供便利。 默认是非守护线程。当进程所有的非守护结束后，进程会自动结束。 1. 线程简单使用 1. 直接new Thread 的方式 # 线程使用的方式一 import threading # 需 阅读全文

摘要： pywinauto 简单使用 ​ pywinauto是一组实现windows GUI窗口自动化的python模块。使用pywinauto可以方便的给窗口发送鼠标、键盘事件，使用python程序控制程序窗口。主要是针对CS程序自动化应用。必须是GUI程序。 参考: https://github.com 阅读全文

摘要： 1. 为什么使用selenium 前面爬虫大多使用的是urllib 库， 另外还有requests 库。urllib 可以解决好多问题，包括代理、自定义请求体、cookie 设置等。 这些库都是模拟浏览器进行访问，毕竟是模拟，有些网站针对反爬会造成爬取的数据不准确。 ​ 这时候就需要引入seleni 阅读全文

摘要： 之前研究了基于BeautifulSoup4 解析html， 现在研究下xpath 的使用方法。 参考菜鸟教程： https://www.runoob.com/xpath/xpath-examples.html chrome浏览器自己可以安装插件: XPath Helper，再调试的时候可以使用该插件 阅读全文