随笔分类 - python
python
摘要：学好Python的五本书
万维钢这堂课说要学好一门新领域，可以从读五本书开始。下面我想跟同学分享，对一个生手如果要学好编程语言Python，应该要读哪五本书，它的先后顺序是什么？
阅读全文
摘要：中台设计概念
中台大概可以划分为：业务中台、数据中台、算法中台、技术中台、研发中台、组织中台、字典中台
业务中台：提供重用服务，例如用户中心、订单中心之类的开箱即用可重用能力，为战场提供了空军支援能力，随叫随到，威力强大；
数据中台：提供数据分析能力，帮助从数据中学习改进，调整方向，为战场提供了海军支援能力；
算法中台：提供算法能力，帮助提供更加个性化的服务，增强用户体验，为战场提供了陆军支援能力，随机应变，所向披靡；
技术中台：提供自建系统部分的技术支撑能力，帮助解决基础设施，分布式数据库等底层技术问题，为前台特种兵提供了精良的武器装备；
研发中台：提供自建系统部分的管理和技术实践支撑能力，帮助快速搭建项目、管理进度、测试、持续集成、持续交付，是前台特种兵的训练基地；
组织中台：为项目提供投资管理、风险管理、资源调度等，是战场的指挥部，战争的大脑，指挥前线，调度后方。
字典中台：为项目提供国际、国家、业界等标准规范字典并保持及时更新。
阅读全文
摘要：mysql数据库表上百万记录优化思路杂谈
我的mysql数据库表上百万记录，插入数据的时候超慢，插入一笔都差不多将近1秒钟了
有没有做索引？数据量大了一般要做分区分表处理的，实时性要求高的一般要做缓存或者数据总线分层处理的
你用的是不是ssd硬盘？ssd硬盘比机械硬盘快很多倍。
数据库光靠调参数，以经提升到最快0.007秒多一笔插入的速度了
看来还是大数据技术比较重要
调整了那些参数提升这么多？
调了很多参数，mysql、springboot、shardingsphere、druid
可能需要评估一下如何加入Hadoop来进行存储及处理区块链的数据
阅读全文
摘要：用python修改文件内容修改txt内容的3种方法
方法一、修改原文件方式
updateFile(r"D:\zdz\myfile.txt", "zdz", "daziran")#将"D:\zdz\"路径的myfile.txt文件把所有的zdz改为daziran
方法二、python字符串替换的方法，修改文件内容，把原文件内容和要修改的内容写到新文件中进行存储的方式
方法三、python 使用正则表达式 替换文件内容 re.sub 方法替换
阅读全文
摘要：对各种开发语言优劣的讨论，入门难度，IDE，大型网站并发性，java，golang，php，python，api接口，前后端分离
现在很多有高并发要求的 java c++的接口改成golang的
有个朋友公司就是把java写的接口改成golang的，听他说的是效率提高了上百倍，节省了大量服务器
java入门比较难，要达到熟练独立开发一个网站出来需要比较长的学习时间
php Python入门很容易，要做大型网站深入也很难
php Python零基础一星期就可以入门了
java你搞一个月门都没有找到
php做个小网站还是比较快的
Python做个小工具还是很好的，一个文件就可以直接运行起来了
金融相关的用java比较多，比较成熟了，招人也容易
现在流行前后端分离了
golang java 做API接口更有优势的
Python做科学计算，自动化，人工智能的更有优势
springboot springcloud 做API还是很不错的，之前的tomcat 那些容器搞得太复杂了
阅读全文
摘要：sublime_text运行python ctrl+b运行的界面隐藏了怎么重新调出来恢复显示?
搜索了下都是说怎么隐藏的，隐藏后怎么恢复显示的没找到
看进程还在运行，但调不出来看运行结果了，console控制台不是ctrl+b运行的界面
解决办法：菜单-->Tools-->Build Results-->Show Build Results (注意：没有运行的时候是灰色不可选择的)
sublimetext运行python,ctrl+b,控制台不显示结果的方法：按esc键就可以隐藏，或显示了其他控制台，搜索框后会自动隐藏掉。
sublime text3中隐藏了菜单怎么显示出来？
sublime text3菜单隐藏之后，想要将菜单显示出来，按下键盘的“ctrl+shift+P”组合键。
然后在出现的输入框中输入：view或者Toggle。
点击‘view:Toggle Menu’选项。就可以看到菜单重新显示出来了。
view:Toggle Menu存在的时候会隐藏，隐藏的时候会显示。
阅读全文
摘要：中国爬虫违法违规案例汇总github项目介绍
GitHub - 本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律，避免触碰数据合规红线。
阅读全文
摘要：linux shell编程，先等10秒再判断是否有进程存在，存在就再等10秒再杀了进程才运行
crontab每分钟执行一次，但5秒以上才有更新数据，有时候一分钟可能跑不完上一个进程，需要先等10秒再判断是否有进程存在，存在就再等10秒再杀了进程（有没有在都执行杀进程的命令）才运行，超过20秒没有执行完成就判断为假死异常了，需要删掉再继续运行。这样各种情况都考虑到了。
阅读全文
摘要：crontab运行python不生效，但是手动执行正常的问题和解决方案
linux默认装的是python2.7，安装了其他版本后直接执行没问题，但在crontab里执行不了，需要使用全路径。
使用 whereis python 可以查看python对应版本的执行全路径
阅读全文
摘要：Linux出现You have new mail in /var/spool/mail/root提示，关闭邮件提示的解决方案
有的时候敲一下回车，就出来You have new mail in /var/spool/mail/root的提示。
原因是Linux系统经常会自动发出一些邮件来提醒用户系统中出了哪些问题（收件箱位置：/var/mail/），比如crontab里面的脚本命令执行错误了（sh文件名，python命令没有使用全路径，没有使用后台运行nohup命令等问题导致无法正常执行的报错）。
LINUX会定时查看各种状态做汇总，每经过一段时间会把汇总的信息发送到root的邮箱里。
一般这种情况mail的内容就只是一些正常的系统信息或者是比较重要的错误报告。
centos默认安装有sendmail的，可以使用mail命令查询(要退出时输入q加回车)
如果安装了mutt可以用mutt命令查看mail的内容，没有装用系统命令：cat /var/spool/mail/root查看。
阅读全文
摘要：模拟退火算法SA原理及python、java、php、c++语言代码实现TSP旅行商问题，智能优化算法，随机寻优算法，全局最短路径
模拟退火算法(Simulated Annealing，SA)最早的思想是由N. Metropolis等人于1953年提出。1983 年,S. Kirkpatrick 等成功地将退火思想引入到组合优化领域。
来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。
它是基于Monte-Carlo(蒙特卡洛)迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。
常用的智能优化算法
遗传算法（Genetic Algorithm, GA)
模拟退火算法（Simulated Annealing, SA)
禁忌搜索算法（Tabu Search, TS)
神经网络 （Neural Network）
蚁群算法（Ant Colony Optimization，ACO）
爬山
阅读全文
摘要：python中pip添加国内镜像源后显著加速下载
更换pip源到国内镜像，很多国外的库下载非常慢，添加国内镜像后安装下载速度提升非常明显（亲测有些可以由几十kb加速到几MB）
pip国内的一些镜像
阿里云 http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
阅读全文
摘要：python如何通过windows命令行运行一个python程序文件？
cmd 进入到py文件对应目录下
或者直接在上面的文件地址栏输入cmd，敲入回车 定位到对应的目录下
输入python xxx.py，可以运行程序
如果无法运行可以在代码的第一行加入：#!usr/bin/python
阅读全文
摘要：Python数据分析工具：Pandas之Series
Pandas概述
Pandas是Python的一个数据分析包，该工具为解决数据分析任务而创建。
Pandas纳入大量库和标准数据模型，提供高效的操作数据集所需的工具。
Pandas提供大量能使我们快速便捷地处理数据的函数和方法。
Pandas是字典形式，基于NumPy创建，让NumPy为中心的应用变得更加简单。
阅读全文
摘要：TensorFlow 1.2.0新版本完美支持Python3.6，windows在cmd中输入pip install tensorflow就能下载应用最新tensorflow
只需在cmd中输入pip install tensorflow就能下载应用最新tensorflow，再也无需转换到Python3.5了
阅读全文
摘要：抓取网页报403错误，爬虫解决403禁止访问错误方法
一般就是被禁止了，加上对应的header参数就可以了，要具体分析正常访问时需要那些头信息
其中User-Agent是浏览器特有的属性，通过浏览器F12调试器就可以看到
阅读全文
摘要：量化交易工程师招聘要求，开源软件
1、负责公司数字货币资产量化交易策略开发及交易的数据处理、实现、调试、优化和监控；
2、负责公司各类数字货币衍生品定价、风控、回溯；
3、研究各类高频交易及套利策略。
【任职资格】
1、数学、金融及计算机相关专业，本科以上学历，硕博优先；
2、具有三年以上金融机构量化研究、模型开发、衍生品定价、资本风险模型等相关工作经验；
3、熟悉双边市场，可以独立操作较大规模资金账户；
4、熟练使用Python/Java进行套利策略编写，代码规范可读性强；
5、熟知金融行业的法规和相关的政策，具有良好的职业操守，有强烈的责任感，敢于面对挑战可承受较大心理压力。
阅读全文
摘要：性能测试工具Locust，一个开源性能测试工具
使用Python代码来定义用户行为。用它可以模拟百万计的并发用户访问你的系统。
1、它与目前主流的LoadRunner和Jmeter玩法都不一样。
2、它完全基于Python开发，用Python来编写用户行为。
如果想用好它的话，你必须对Web开发有一定的认识。而且还要熟悉Python开发。
官方网站：https://locust.io/
阅读全文
摘要：Selenium自动化测试，接口自动化测试开发，性能测试从入门到精通
Selenium接口性能自动化测试
基础部分：
分层自动化思想
Slenium介绍
Selenium1.0/2.0/3.0
Slenium RC, WebDriver, IDE, Grid
Python+selenium环境
接口自动化测试框架
unittest + pymysql + request + HTMLTestRunner
性能专项测试培训，通过压力测试工具(jmeter/locust)/siege等了解性能测试的基本原理及性能测试流程。 学会目前主流的性能测试类型：web性能测试及接口性能测试。学会使用主流性能测试工具：jmeter/locust/siege等
阅读全文
摘要：golang学习笔记17 爬虫技术路线图，python，java，nodejs，go语言，scrapy主流框架介绍
python，封装好的框架scrapy，其他常用，urllib2，解析用的包的beautifulsoup，配合selenium。以上是随便爬爬。
大型的分布式爬取，难点一个在反反爬，动态ip池，接打码，爬虫行为模式控制，是个体力活;
另一个在爬取和落盘的效率，所以到了一定规模分布式一般用go/java/scala多
用python的scrapy，所有平台都能跑，scrapy是主流方案，各种周边都很成熟，爬视频python有现成的包
python的pyspider框架比较完善，抓取大量网站，解析大量页面时做分布式和后台管理都比较方便
java爬虫配合jsoup也是不错的选择
nodejs主要框架有cheerio、crawler、spiderman
go语言爬虫框架：gocolly/colly，goquery，colly，chromedp，webloop，go_spider，Pholcus
阅读全文
