papering - 博客园

2017年12月20日

maximize_window fullscreen_window minimize_window

摘要： # Licensed to the Software Freedom Conservancy (SFC) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyr... 阅读全文

posted @ 2017-12-20 15:28 papering 阅读(594) 评论(0) 推荐(0)

HTTP 代理原理及实现

摘要： https://imququ.com/post/web-proxy.html 阅读全文

posted @ 2017-12-20 00:03 papering 阅读(208) 评论(0) 推荐(0)

2017年12月19日

browser user agent

摘要：乐视X501 UC浏览器1080x1920x32Mozilla/5.0 (Linux; U; Android 5.0.2; zh-CN; Letv X501 Build/DBXCNOP5501304131S) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/10.10.0.800 U3/0.8.0 Mobile Safa... 阅读全文

posted @ 2017-12-19 23:49 papering 阅读(429) 评论(0) 推荐(0)

res_d_l =[{'contents':d.contents,'href':d.attrs['href']} for d in rd] 泛型

摘要： from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# from selenium.webdriver.firefox.options import Optionsimport timefrom time import sleepimport mathimport randomim... 阅读全文

posted @ 2017-12-19 23:43 papering 阅读(320) 评论(0) 推荐(0)

tmp

摘要： -- 经排查日志，发现ordertest.com下的url检测，频繁<Response [403]>,Forbidden;再进一步查询数据库数据：逐日统计错误临时表test_error_temp中ordertest.com日行数：SELECT COUNT(1),FROM_UNIXTIME(creat 阅读全文

posted @ 2017-12-19 14:38 papering 阅读(218) 评论(0) 推荐(0)

Connection reset by peer

摘要： https://msdn.microsoft.com/en-us/library/ms847613.aspx Error Message: Connection reset by peer. Explanation: A connection was forcibly closed by a pee 阅读全文

posted @ 2017-12-19 13:35 papering 阅读(787) 评论(0) 推荐(0)

数据分析浏览器端展示技术选型

摘要： python 相对其他语言，在业务数据运算/分析方面，高效的编码速度阅读全文

posted @ 2017-12-19 11:05 papering 阅读(142) 评论(0) 推荐(0)

mysql 查询语句去重通过sql去重

摘要： url 在表中具有唯一性；由于定时任务的多进程/代码的多线程/定时任务的调度/脚本的执行时间，导致，破坏了唯一性； SELECT COUNT(1) FROM test_error_tmpUNION ALL SELECT COUNT(DISTINCT url) FROM test_error_tmp 阅读全文

posted @ 2017-12-19 08:51 papering 阅读(1402) 评论(0) 推荐(0)

2017年12月18日

根据业务情况设置定时脚本的执行频次

摘要： -- 订单表新生效的url白天多晚上多？SELECT COUNT(1),FROM_UNIXTIME(create_time,'%H') AS sh FROM order GROUP BY sh ORDER BY sh DESC ;-- 订单表新生效的url白天多晚上多--近一周？SELECT COU 阅读全文

posted @ 2017-12-18 18:11 papering 阅读(198) 评论(0) 推荐(0)

数据可视化的重要性

摘要：阅读全文

posted @ 2017-12-18 14:59 papering 阅读(259) 评论(0) 推荐(0)

TCP Operational Overview and the TCP Finite State Machine (FSM) http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFiniteStateMachineF.htm

摘要： http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFiniteStateMachineF.htm http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFinite 阅读全文

posted @ 2017-12-18 12:05 papering 阅读(197) 评论(0) 推荐(0)

tcp state

摘要： [root@hadoop1 log]# netstatActive Internet connections (w/o servers)Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 hadoop1:56679 157. 阅读全文

posted @ 2017-12-18 11:57 papering 阅读(424) 评论(0) 推荐(0)

定时任务执行结果

摘要： [root@hadoop1 log]# xlcl#spider#48/d*/40 0-8,20-23 * * * python /home/data/crontab_chk_url/personas/trunk/plugins/spider/chk_url_status_update_tmp_err 阅读全文

posted @ 2017-12-18 10:36 papering 阅读(288) 评论(0) 推荐(0)

2017年12月16日

伪造TCP重置长连接短连接 RST报文 TCP重置攻击

摘要：在运行中的进程突然被杀死时，该端发送RST 连接池16个连接 TCP重置攻击指的是使用伪造的TCP重置包干扰用户和网站的连接[1]。这个技术可以在善意的防火墙中应用[2]，但也可用于网络审查或是攻击，恶意中断TCP连接，是一种旁观者攻击。本质上，Internet是用于单个计算机交换电子消息或IP数阅读全文

posted @ 2017-12-16 21:53 papering 阅读(1103) 评论(0) 推荐(0)

2017年12月15日

Common non-standard response fields

摘要： https://en.wikipedia.org/wiki/List_of_HTTP_header_fields#cite_note-52 Common non-standard response fields[edit] Field nameDescriptionExample Content-S 阅读全文

posted @ 2017-12-15 19:19 papering 阅读(265) 评论(0) 推荐(0)

借助ltp 逐步程序化实现规则库文本生成引擎基于规则库和业务词库去生成文本

摘要： [哪个地方做什么的哪家靠谱？地名词库行业、业务词库]苏州做网络推广的公司哪家靠谱？苏州镭射机维修哪家最专业？昆山做账的公司哪家比较好广州称重灌装机生产厂家哪家口碑比较好[含有专家知识]郑州律师哪个好，如何判断合同是否有效？[哪个地方有做什么的？]广东哪里有专业的全铝书柜定制？苏州吴中越溪哪里有通过率较高的会计培训班？[2-gram]行业属性通过 “2-gram”实现，“动词+名词”昆山注册... 阅读全文

posted @ 2017-12-15 16:48 papering 阅读(619) 评论(0) 推荐(0)

人工智能大数据程序技术代码是工具不是产品产品驱动

摘要：通过产品创造不同层面不同高度的价值阅读全文

posted @ 2017-12-15 16:41 papering 阅读(161) 评论(0) 推荐(0)

借助ltp语义分析提取特征，之后，文本生成

posted @ 2017-12-15 14:47 papering 阅读(939) 评论(0) 推荐(0)

wsgiref — WSGI Utilities and Reference Implementation nginx

摘要： from wsgiref.util import setup_testing_defaults, request_urifrom wsgiref.simple_server import make_server# A relatively simple WSGI application. It's 阅读全文

posted @ 2017-12-15 11:20 papering 阅读(272) 评论(0) 推荐(0)

定时任务中多进程线程对数据库操作同一数据操作的冲突避免

摘要： import os, sysimport timeimport loggingimport requestsimport threadingimport random from random import choicefrom selenium import webdriverfrom seleni 阅读全文

posted @ 2017-12-15 08:43 papering 阅读(904) 评论(0) 推荐(0)

进程的层次结构

摘要： windows不存在进程层次结构所有进程相同地位获得进程的句柄 unix 父子孙进程家族进程不能拒绝其子进程呢个的继承权阅读全文

posted @ 2017-12-15 08:33 papering 阅读(294) 评论(0) 推荐(0)

os 2大功能

摘要：支撑功能中断管理时钟管理原语操作 primitive 资源管理功能进程管理存储器管理设备管理阅读全文

posted @ 2017-12-15 08:25 papering 阅读(198) 评论(0) 推荐(0)

Setting Up FastCGI Proxying

摘要： http://nginx.org/en/docs/beginners_guide.html 阅读全文

posted @ 2017-12-15 01:26 papering 阅读(153) 评论(0) 推荐(0)

2017年12月14日

处理器主频

摘要： https://baike.baidu.com/item/处理器主频/156282 处理器主频是一个计算机术语。CPU的主频表示在CPU内数字脉冲信号震荡的速度，主频和实际的运算速度存在一定的关系。中文名处理器主频别名时钟频率单位Hz 作用表示CPU的运算速度主频也叫时钟频率，单位是H 阅读全文

posted @ 2017-12-14 23:09 papering 阅读(2028) 评论(0) 推荐(0)

Using Python with TurboGears A complete web framework integrating several Python projects

摘要： Using Python with TurboGears TurboGears is a Python web framework based on the ObjectDispatch paradigm, it is meant to make possible to write both sma 阅读全文

posted @ 2017-12-14 22:09 papering 阅读(180) 评论(0) 推荐(0)

cgi fastcgi wsgi nginx python Dispatching TurboGears Python via FCGI

摘要： https://www.nginx.com/resources/wiki/start/topics/examples/simplepythonfcgi/ 117 2018-06-28 19:56:42 yum install nginx 118 2018-06-28 19:58:32 service 阅读全文

posted @ 2017-12-14 21:54 papering 阅读(168) 评论(0) 推荐(0)

a simple and universal interface between web servers and web applications or frameworks: the Python Web Server Gateway Interface (WSGI).

摘要： WSGI is the Web Server Gateway Interface. It is a specification that describes how a web server communicates with web applications, and how web applic 阅读全文

posted @ 2017-12-14 21:23 papering 阅读(275) 评论(0) 推荐(0)

uwsgi 所扮演的的角色是后端 http 服务器，nginx 扮演的角色是前端 http 服务器，hello.py 是客户端应用程序

摘要：小结： 1、nginx传递每一个请求给绑定到3031端口并使用uwsgi协议的服务； http://www.jb51.net/article/76715.htm 在本文中，uwsgi 所扮演的的角色是后端 http 服务器，nginx 扮演的角色是前端 http 服务器，hello.py 是客户端应阅读全文

posted @ 2017-12-14 21:11 papering 阅读(319) 评论(0) 推荐(0)

Semantic Parsing（语义分析） Knowledge base（知识图谱）对用户的问题进行语义理解信息检索方法

摘要：简单说一下所谓Knowledge base（知识图谱）有两条路走，一条是对用户的问题进行语义理解，一般用Semantic Parsing（语义分析），语义分析有很多种，比如有用CCG、DCS，也有用机器翻译来做的。它得到了一个句子的逻辑表示，根据逻辑表示再到知识库里去查，查到这个结点是什么，关系是什阅读全文

posted @ 2017-12-14 20:43 papering 阅读(2743) 评论(0) 推荐(0)

语义角色分析

摘要： { 'words': '深圳市\t东荣\t纯水\t设备\t有限公司\t有\t什么\t产品\t，\t电话\t是\t多少\t？', 'postags': 'ns\tnz\tn\tn\tn\tv\tr\tn\twp\tn\tv\tr\twp', 'parser': '5:ATT\t3:ATT\t4:ATT\t5:ATT\t6:SBV\t0:HED\t8:ATT\t6:VOB\t6:WP\t11... 阅读全文

posted @ 2017-12-14 18:00 papering 阅读(537) 评论(0) 推荐(0)

哈工大参赛系统的依存句法分析是如何实现的？

摘要： https://www.leiphone.com/news/201706/upso9nIUVbYttnMO.html 车万翔博士：目前依存分析领域两大主流方法分别是基于转移（Transition-based）和基于图（Graph-based）的依存分析。基于转移的方法是，构建一条从初始转移状态到终结阅读全文

posted @ 2017-12-14 17:12 papering 阅读(899) 评论(0) 推荐(0)

显示目录大小 du

摘要： [root@hadoop1 /]# du -BG -d 11G ./boot0G ./dev63G ./homedu: 无法访问"./proc/6689/task/6689/fd/4": 没有那个文件或目录du: 无法访问"./proc/6689/task/6689/fdinfo/4": 没有那个文阅读全文

posted @ 2017-12-14 15:44 papering 阅读(962) 评论(0) 推荐(0)

不安全的权限 0644，建议使用 0600。

摘要：不安全的权限 0644，建议使用 0600。阅读全文

posted @ 2017-12-14 15:31 papering 阅读(2460) 评论(0) 推荐(0)

/dev/zero /dev/null > /dev/null 2>&1

摘要：实践：1）u@u5:~/tmp$ ll -astotal 164 drwxrwxr-x 2 u u 4096 12月 3 11:21 ./4 drwxr-xr-x 27 u u 4096 12月 2 13:54 ../4 -rw-rw-r-- 1 u u 4 12月 3 11:22 a4 -rw-r 阅读全文

posted @ 2017-12-14 15:17 papering 阅读(321) 评论(0) 推荐(0)

The uWSGI project aims at developing a full stack for building hosting services.

摘要： https://github.com/unbit/uwsgi-docs/blob/master/index.rst 阅读全文

posted @ 2017-12-14 12:23 papering 阅读(139) 评论(0) 推荐(0)

http://www.freetds.org/userguide/what.htm

摘要： FreeTDS is re-implementation of C libraries originally marketed by Sybase and Microsoft SQL Server. It allows many open source applications such as Pe 阅读全文

posted @ 2017-12-14 11:41 papering 阅读(324) 评论(0) 推荐(0)

pymssql.connect(server='.', user='', password='', database='', timeout=0, login_timeout=60, charset='UTF-8', as_dict=False, host='', appname=None, port='1433', conn_properties, autocommit=False, tds_

摘要： http://pymssql.org/en/stable/ref/pymssql.html 阅读全文

posted @ 2017-12-14 11:08 papering 阅读(3375) 评论(0) 推荐(0)

监控网速单个进程网速消耗网路带宽端口查看流量

摘要： nethogs: 按进程查看流量占用 iptraf: 按连接/端口查看流量 ifstat: 按设备查看流量 ethtool: 诊断工具 tcpdump: 抓包工具 ss: 连接查看工具其他: dstat, slurm, nload, bmon 搜索复制阅读全文

posted @ 2017-12-14 09:35 papering 阅读(171) 评论(0) 推荐(0)

nginx与apache 对比 apache是同步多进程模型，一个连接对应一个进程；nginx是异步的，多个连接（万级别）可以对应一个进程

摘要： nginx与apache详细性能对比 http://m.blog.csdn.net/lengzijian/article/details/7699444 http://www.cnblogs.com/huangye-dream/p/3550328.html Apache与Nginx的优缺点比较 1、阅读全文

posted @ 2017-12-14 08:51 papering 阅读(528) 评论(0) 推荐(0)

2017年12月13日

shell 爬虫

摘要： http 阅读全文

posted @ 2017-12-13 20:52 papering 阅读(160) 评论(0) 推荐(0)