10 2017 档案
摘要：网上关于pycahrm怎么使用docker容器的python解释器的科普，这方面太少，一半都只介绍pycahrm怎么使用linux的解释器。首先pycahrm确保是pro版本。 下面详细的介绍步骤 首先肯定需要先开启api 端口，这上篇介绍了。 pycharm设置好docker链接后，还可以在pyc
阅读全文
摘要：此篇是针对centos6的docker，注意ubantu和centos7的会有区别。需要在docker配置文件中修改信息 centos中是这个文件 /etc/sysconfig/docker，Ubuntu中不同。可以 使用find / -name docker可以找到此文件。vim /etc/sysconfig/docker DOCKER_OPTS="-H tcp://0.0.0.0:2...
阅读全文
摘要：1 Python的函数参数传递 看两个例子: 所有的变量都可以理解是内存中一个对象的“引用”，或者，也可以看似c中void*的感觉。 这里记住的是类型是属于对象的，而不是变量。而对象有两种,“可更改”（mutable）与“不可更改”（immutable）对象。在python中，strings, tu
阅读全文
摘要：现在假设一个脚本是，hello.py，内容是 fo = open('xx.txt','w') while 1： fo.write('hello world') print('hi') time.sleep(1) 如果使用python hello.py那么控制台一直print hi，会干不了其它活，必
阅读全文
摘要：安装一些软件 python redis mysql jdk，都需要添加环境变量，一个路径添加到了环境变量，就可以直接在linux控制台输入 xx命令。 否则不添加环境变量，使用xx就会提示找不到命令，需要跳转到那个目录。然后执行 ./xx，或者每次都打全路径 /root/dir1/dir2/dir3
阅读全文
摘要：小爬虫就是一半的单线程爬虫，入门。 多线程/协程爬虫是快速爬虫。 分布式爬虫是大规模爬虫。 说到分布式，好像很高大上的词，其实普通分布式很简单，单机爬虫种子可以放在程序的列表 queue队列 或者本机的mysql redis都可以。分布式爬虫最简单就是借助redis了，多个爬虫从同一台redis机器
阅读全文
摘要：有时候一个项目，希望既提交到oschina又提交到公司内网的gitlab，或者是github什么的。 使用git remote -v 查看当前git的远程仓库。 添加一个远程仓库
阅读全文
摘要：跨语言的rpc框架 新建一个thrift文件 client.py
阅读全文
摘要：一台电脑去控制另一台电脑干事情，最常见的就是web。 用户get/post一个url，服务端根据url地址和参数去做相应的事情把结果返回给客户端。 server.py client.py 运行server.py，运行client.py，client可以和server不在同一个机器，调用另一台机器做事
阅读全文
摘要：人力部需要做互联网金融行业的从业人员薪酬分析，起初说的是写脚本，然后他们自己改。但这样不太好，让人事部来修改py脚本不太好，这需要安装py环境和一些第三方包，万一脚本改来改去弄错了，就运行不起来了。 利用pyqt写界面，把要爬的企业填在界面上，点击一个按钮就爬虫，最后生成excel，这样比较方便。p
阅读全文
摘要：测试 使用wait_all_finish()的queue.join()方法阻塞主线程，当队列中有任务还要执行时候不往下执行。不想阻塞就不要写这句。
阅读全文
