工作随笔--linux常用命令

一、linux or xshell常用命令
1. sudo是允许用户有管理员权限

2. 连接：open

3. 进入文件夹：cd /data/rcrai/..

4. 构建docker：sudo docker build -t test1:v1 .

5. 执行docker：sudo docker run -dit test1:v1 /bin/bash
docker run -p 4695:4695 -v /data/rcrai/zy/data:/data/word_embedding -dit sims:v1.0.0 /bin/bash

6. 查看、查找：sudo docker ps | grep 条件

7. 创建目录: mkdir zy

8. tmp目录到当前目录拷贝：sudo cp -r /tmp/multiner/ ./

9. 进入容器里：sudo docker exec -it 容器id bash

10. 容器里启动python：PYTHONPATH=".:rcrai/multiner" python rcrai/multiner/apps/cli.py ner:predictor --config /etc/multiner/predict.yml --pipexl_config /etc/multiner/pipe_ner.yml

11. 安装vim： apt-get install vim

12. vi打开文件：vi rcrai/multiner/worker/predicting_worker.py +413

13. 进入编辑模式：按a，编辑后保存：按esc，输入：，按x

14. 容器拷贝：sudo docker cp multiner 954d:/

15. 从容器外拷贝到容器内：sudo docker cp rcrai/multiner f24f:/workspace/rcrai

16. 从容器内拷贝文件到容器外：./代表当前路径 sudo docker cp bc65:/workspace/rcrai/multiner/data/ ./

17. 从tmp拷贝目录到当前目录下：sudo cp -r /tmp/multiner/ ./

18. 查看日志：
sudo docker ps | grep postprocess
sudo docker logs containerID --tail= 100 -f

19. docker内暴露端口号，docker内不能加断点调试。第一个9001是自定义的，可改，keel:latest是keelt1:v1

sudo docker run -p 9001:9001 -dit keel:latest /bin/bash
7e7f1073cb165e0930daaef87d478937f0870a9199e96ffc81895391f9359118

20. 解决OSError: [Errno 98] Address already in use问题：
容器内：ps -fA，kill pid，

21. 查看vi，空格问题:
:set list

22. 查看包的版本：
pip list | grep python
pip list ----查看所有

23. 执行synapse：
./main -c synapse.yml serve -v

24. 查看端口：
sudo lsof -i:12310

25. 编译文件：
go build -o new-name main.go

26. main变可执行文件：
sudo ls -l
sudo chmod 777 main

27. nohup:
nohup + command + >/dev/null 2>&1 &

28. linux环境创建mysql：
sudo docker run -d --name mysql0713 --rm -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7

29. 登录pg数据库：
psql -U synapse --synapse,是用户名

30. 创建docker，并暴露端口号：
sudo docker build -t ecall:latest .
sudo docker run -p 8001:8021 -dit ecall:latest /bin/bash

31. 登录mysql：
mysql -uroot -p

show databases; 查看有哪些数据库
use dbname; 选择数据库
show tables；查看这个库有哪些表
desc tablename; 查看某个表的详细信息，包括列名。

替换表中某一属性
ALTER TABLE month CHANGE day today VARCHAR(20);

修改字段默认值:
alter table version alter pregress set default 0;

32. 下载mysql驱动：
go get -u gorm.io/driver/mysql

33. 在容器内查看进程在不在
ps aux |grep 进程名

34. 查看实时日志：
sudo docker logs -f 容器id

35. 停止docker：
sudo docker stop f4e8

36. 下载文件
sudo wget http://fileserver.rcrai.com/ci-runner/samples/sample-16k-mono.wav

37. 切换到root目录：
sudo su - root

38. 批量删除：rm -rf records.*

39. linux查看是否安装了redis
rpm -qa | grep redis

40. 创建redis:
sudo docker run -p 10645:6379 -v /root/docker/redis/data:/data --restart=always --name redis0810 -d redis redis-server --appendonly yes --requirepass "123456"

不加密码的redis ***
sudo docker run -p 10646:6379 --name redis0816 -v /usr/local/docker/redis.conf:/etc/redis/redis.conf -v /usr/local/docker/data:/data -d redis redis-server /etc/redis/redis.conf --appendonly yes

操作：
redis-cli
auth 123456
keys *

41. docker内安装：apt-get install /update

42. 导入redis：
cat aa.txt | redis-cli -a 123456

echo $PIPE_CONFIG

43. 查找bfaf容器里面的日志“starting model key”
sudo docker logs bfaf >/dev/stdout 2>&1 | grep 'starting model key'

44. 重启配置：
sudo docker-compose restart

45. 改变文件编码格式，dos->unix：
sudo vi filename， ：set fileformat = unix

46. 查看文件的符号等：
vim -b filename

47. 查看12383端口有没有进程：
sudo netstat -tunpl|grep 12383

48. 查看容器日志：
sudo docker logs 6363 --tail=100 -f

49. docker查询：

sudo docker images| grep mysql

sudo docker ps -a | grep mysql

sudo docker run -d -p 6379:6379 --name="redislsx" redis

50. 查看最后一条命令是不是正常执行，为0正常，为1错误
echo $?

51. go对齐某一文件：
gofmt –w program.go

52. 不同服务器传输文件
sudo su - root

scp -p22 keyword.json 49.233.123.136:/data/rcrai/zy/nlp/go/file

53. kubectl命令：
source /root/prod-k8s-env.sh
kubectl get pod -n rcrai | grep mining
kubectl exec -it -n rcrai miningpub-search-6fc6ff8d46-4cwc9 sh
free -g
cat /proc/cpuinfo |grep "cores"|uniq

kubectl delete pod -n rcrai miningpub-search-6fc6ff8d46-zhffs

kubectl logs -n rcrai --tail=100 miningpub-fab-train-6bbff574fd-j4rht

54. 问题查看步骤
top下，看看这个进程的cpu和内存占用
lsof看下这个端口是不是还被该服务监听
sudo perf top， 看看具体卡哪儿了
怀疑是go的调度问题， GODEBUG="schedtrace=2000,scheddetail=1" ./mining-search 看看详细的trace和调用信息

55. train：
docker-compose -f mining-fab-train/docker-compose.yml build
docker-compose -f mining-fab-train/docker-compose.yml stop
docker-compose -f mining-fab-train/docker-compose.yml up -d
docker-compose -f mining-fab-train/docker-compose.yml logs --tail=10 -f

56. 无vim，修改文件步骤
sed -i '1c test_tmp' run.conf
sed -i '1,/batch_size=128/{s/batch_size=128/batch_size=32/}' test_tmp.conf

57. 服务器训练：
conda activate /../zzbase
/mfs/zy/python/expert/pipelines/keywords
./pipeline.sh

58. 输出log：

nohup ./zysearch -c config.yaml http > out.log 2>&1 &

tail -f out.log

 

三、Git命令

1. clone: git clone http。。。

2.查看：ls or dir

3. 进入某一目录：cd multiner/

4. 查看远程所有分支：git branch -r

5. 新建并切换分支：git checkout -b dev-lac origin/dev-lac

四、

set GOPROXY=

set GONOSUMDB=