git、docker、lunix、python、pycharm等常用命令整理

git的使用

上传代码
git clone ....
git branch new_branch
git checkout branch_name
git add .
git commit -m ""
git push origin branch_name
git tag tag_name
git push origin tag_name
git reset --hard origin/scrapy_branch
(回退为上一个版本)

git 下载代码
git clone ...
git checkout -b branch
git pull origin branch
git pull origin tag_name

git branch --set-upstream-to=origin/remote_branch your_branch

把本地分支和远程分支关联在一起

 

创建虚拟环境

mkvirtualenv --python=python3 env_name

requirements.txt
pip freeze > requirements.txt
pip install -r requirements.txt

 

docker 出包

0、在lunix中新建一个文件夹
1、git上传干净的代码,打好标签
2、在出包的lunix中clone gitlab上的代码
git clone ....
git checkout -b ....
git pull origin ...
3、配饰Docker_file(media_file) 无后缀名 放在最外边（在上下文之间）
FROM 156.255.105.4:18003/r4570_crawler_env:v1.0

COPY filebeat.yml /usr/local/filebeat-6.6.2/filebeat-test.yml

COPY ./DownloadImageFiles /DownloadImageFiles

WORKDIR /DownloadImageFiles

CMD ["python3","docker_run.py"]
4、配置 filebeat.yml文件(注意日志文件的路径) 放在最外边（在上下文之间）
filebeat.inputs:
- type: log
enabled: true
backoff: "2s"
tail_files: false
paths:
- /var/log/spider_log/*/output.log

output.logstash:
enabled: true
hosts: ["156.255.105.4:5044", "172.20.2.2:5044","156.255.105.99:5044"]
5、设置另外的入口 docker_run.py
# coding:utf-8

import os
import time
import random

crawl_mand = "nohup python Crawl.py 2>&1 &"
resp_crawl = os.system(crawl_mand)
print("启动爬虫执行结果:{}".format(resp_crawl))
wait = random.choice(range(5, 10))
print("等待-----{} S".format(wait))
time.sleep(wait)
beat_mand = "/usr/local/filebeat-6.6.2/filebeat -e -c /usr/local/filebeat-6.6.2/filebeat-test.yml"
print("--------------启动BEAT-------------")
os.system(beat_mand)
6、在lunix中出包
生成包
docker build -t 156.255.105.4:18003/rhino_v2_crawl_media:v2.0.5.1 -f media_docker_file .
-t是重命名的
-f后边是原本的Dockerfile （默认不加为Dockerfile）
推送到远程
docker push 156.255.105.4:18003/rhino_v2_crawl_media:v2.0.5.1
7、运行
docker run -d rhino_media:v1.0
docker run -d --network host 156.255.105.4:18003/rhino_v2_crawl_media:v2.0.5.1
docker exec
8、docker常用命令
docker ps 查看正在运行的docker容器
docker kill id 结束.....
docker stop id 结束...
docker images 查看docker镜像
docker exec -it id bash 以bash交互的方式进入docker环境中
docker logs --tail 10 -f id 查看此docker的日志
docker ps | grep 关键词 根据关键词查找进程
docker push 156.255.105.4:18003/rhino_v2_crawl_media:v2.0.5.1

 

 

 

lunix常用命令

cat filename以只读的方式打开某个文件
rm -rf file_name 以递归的方式强制删除filename

 

其它应用

1、获取公网ip
http://httpbin.org/ip
curl ip.sb