摘要：
流程： 1. 在机器Client上root用户执行ssh-keygen命令，生成建立安全信任关系的证书。 注意：在程序提示输入passphrase时直接输入回车，表示无证书密码。 上述命令将生成私钥证书id_rsa和公钥证书id_rsa.pub，存放在用户目录的.ssh子目录中。 2.将公钥证书id 阅读全文
摘要：
1.包准备 需要用到sqlalchemy，主要是配合pandas读取 需要用到cx_Oracle，主要是做oracle连接的驱动 2.连接方式 1 import cx_Oracle 2 from sqlalchemy import create_engine 3 import json 4 impo 阅读全文
摘要：
1.查看当前所有docker容器情况 docker ps 根据容器名称获取容器id docker ps -f name='name' --quiet 2. 进入docker容器内部工作目录 docker container exec -it 容器ID /bin/sh 3.退出docker容器 ctr 阅读全文
摘要：
今天申请了一台云主机，一下是搭建深度学习环境的过程： 整体还是很多坑的，基本上的思路就是遇到问题解决问题，每个人的环境不一样，网上基本都有解决方案 1.确认机器到底有没有GPU 运维有时候会搞错，可能给一台压根没有GPU的机器，这个可以用lspci命令来查看是否有GPU的信息 2.确认机器有没有GP 阅读全文
摘要：
由于一个业务，必须要进行笛卡尔积，但是速度太慢了，left join时左表大概4万条数据，右表大概 3000多条数据，这样大概就是一亿多条数据， 这在大数据领域其实不算很大的数据量，但是hive中跑的特别慢。因为hive对笛卡尔积支持的不是很好，由于是全局的操作，所以只能在一个reduce中执行，导 阅读全文
摘要：
第一步：首先要保证网络是通的，很多公司里子网遍布，要和运维和工程侧同事确认好网络是通的，es的地址可以通过curl es地址的方式测试一下。 第二步：下载需要的jar包，必须的是es-hadoop的包，可以在https://www.elastic.co/cn/downloads/下载，其他可能还需要 阅读全文
摘要：
一、按照程序执行的顺序，第一步是walker.py中的preprocess_transition_probs()函数 这个函数的作用是生成两个采样预备数据，alias_nodes，alias_edges。 两份数据又各自包含两个列表，这两个列表分别对应着alias采样中的概率和另一个选项，具体ali 阅读全文
摘要：
一般在sql中进行排序编号的时候都是： row_number() over(order by xxx) 但是有时候某些行不想让他们参与排序，这时候可以： row_number() over(order by（case when xxx then xxx else null end）) 注意case 阅读全文
摘要：
排序量比较大时： 数据量比较小时： 所以结论就是： 数据量大时选用nlargest,数据量小时选用sort_values() 具体数据量怎么算大：10000条时两个方法的时间差不多，所以可以按10000为界限。 阅读全文
摘要：
国内很多服务器提供商都默认禁止了smtp默认的25端口服务，而启用465端口发送邮件 在smtplib库中直接调用SMTP_SSL就是默认使用465端口 示例代码如下： def send_eamil(receiver): global msg sender = 'xxx@163.com' psd = 阅读全文