随笔分类 - Python
摘要：最近使用Flask开发了一个网站的应用，要实现在iframe中嵌入一个来自不同域名的页面。在测试过程中，发现这个页面无法使用Http Get命令获取session中的键值。 经过调查发现了SameSite这个概念。这是谷歌对浏览器cookie增加的一个属性，后来成为了业界的标准。当SameSite等
阅读全文
摘要：本教程只讲最简单的情况，把一个python的project打包成一个wheel包。 1. setup.py 文件示例： from setuptools import find_packages from setuptools import setup setup( name="name", auth
阅读全文
摘要：webpy中如果想把application放到单独的py文件中，使代码有更好结构，这种做法叫sub application。 在sub application的py文件中如何访问session？ 需要在 application的py文件中定义一个hook： def session_hook(): w
阅读全文
摘要：pip install apache-airflow 注意点： 0. airflow 对python lib的版本要求很奇怪，会要求一些老版本的lib，导致和其他软件冲突，建议使用 “python -m venv airflow-venv”为它创建单独的环境。 1. airflow 默认用sqlit
阅读全文
摘要：conn = connect(host='172.16.26.16', port=31050, user='xxxx', password='xxxx', auth_mechanism='LDAP', timeout=timeout) cur = conn.cursor() cur.arraysiz
阅读全文
摘要：1. 首先安装这个库 pip install azure-storage-blob 2. 使用SAS URL可以直接连上某个container，然后以文件名来下载。 from azure.storage.blob import ContainerClient sas_url = "SAS URL"
阅读全文
摘要：@contextlib.contextmanager def getdb(): conn = pymysql.connect("url://server", "username", "password", "dbname", charset='utf8') cursor = conn.cursor(
阅读全文
摘要：""" :param delays: An iterable object the defines num of seconds between reties, also indicating num of retries. Default: retry 3 times, waiting 1/5/3
阅读全文
摘要：在代码中编辑自定义词典 CustomDictionary = JClass("com.hankcs.hanlp.dictionary.CustomDictionary") CustomDictionary.add("代行", "nnt 1999") CustomDictionary.add("李紫文
阅读全文
摘要：grpc 是一个 google开源的 rpc库，支持多种语言，本文讲python版本的grpc。 安装： pip install grpcio pip install grpcio-tools 开发顺序： 1. 首先要定义prototype文件。定义好rpc的函数、输入参数，返回参数。 示例如下：
阅读全文
摘要：uwsgi安装： yum install uwsgi-plugin-python INI示例： [uwsgi] http-socket=:9090 plugin=python wsgi-file=/home/fr-renjie.wei/selfquerydlk/index_wsgi.py threa
阅读全文
摘要：最近发现spark的一个坑（发现时spark最新为2.4.4版本），spark对parquet格式有特殊要求，不支持带“uint8”类型的parquet https://github.com/apache/arrow/issues/1470 如何使用pyarrow把一个parquet转换一下呢？ i
阅读全文
摘要：In [3]: import pyspark from pyspark import SparkContext, SparkConf from pyspark.sql import SparkSession sparkconf = SparkConf().setAppName("myspark")
阅读全文
摘要：Windows 上的安装 截至目前2019/2/20 不要选python3.7版本对应的anaconda, 因为在python3.7 "async" 变成了一个关键词, 和python访问impala的库impyla有冲突, 建议选python3.5对应的anaconda版本 import impa
阅读全文
摘要：Hive命令行中可以使用 add file /path/python/script.py 来添加脚本 Hive会把查询结果输入到标准输入, 在map阶段Python从标准输入中读取, 逐行处理, 返回结果 比如 select TRANSFORM(col1, col2) using 'python s
阅读全文
摘要：Hadoop 使用python 来写 map-reduce, 关键就是利用标准输入和输出, 确切来说就是: import sys for line in sys.stdin pass() print "stdout" sys.stdin 和 print 两个函数 写好了mapper.py 和 red
阅读全文
摘要：0. python, pip和web.py的安装就不说了 1. 安装64位的apache, 64位windows的apache没有官方的编译版本, 可以从第三方编译版本的网站下载: https://www.apachehaus.com/cgi-bin/download.plx?dli=wYy8Geh
阅读全文
摘要：ajax开发中在请求服务器端的响应时, 对于每一种返回类型 规范的做法是要在服务端指定response的contentType和charset，否则中文的chrome浏览器，默认会用gbk解码，导致乱码。 常遇到下面的几种情况: 1、 服务端需要返回一段普通文本给客户端，Content-Type="
阅读全文
