FC磁盘设备管理
转自EMC中文支持论坛 – https://community.emc.com/go/chinese
介绍:本文主要介绍Linux环境下FC磁盘管理相关知识,主要内容包括FC驱动介绍、Linux SCSI磁盘永久命名、FC磁盘添加与删除、FC磁盘路径添加与删除以及FC存储链路在线扫描。
Fibre Channel驱动
Linux系统上Fibre Channel驱动用户空间接口位于/sys/class文件夹下面。以下条目中,H代表主机,B代表bus号,T代表target,L代表lun id,R代表对端端口号。
注意:
如果主机使用多路径软件,修改配置参数之前,建议咨询多路径软件厂商
/sys/class目录下有三个主要文件夹跟 fibre channel相关的文件夹fc_transport、fc_remote_ports,fc_hosts。其中fc_transport代表已分配存储信息;fc_remote_ports代表主机到存储端口链路信息(fc_remote_ports文件夹包含未给主机分配存储的链路信息);fc_host代表主机HBA卡信息。
Transport: /sys/class/fc_transport/targetH:B:T/
· port_id – 存储端口的 24位交换机端口ID
· node_name – 存储端口的64位node name
· port_name – 存储端口的64位port name
Remote Port:/sys/class/fc_remote_ports/rport-H:B-R/
· port_id – 存储端口的 24位交换机端口ID
· node_name – 存储端口的64位node name
· port_name – 存储端口的64位port name
· dev_loss_tmo – 链路故障等待时间,超过这个时间会将链路删除。故障链路不再处理任何新的IO。默认dev_loss_tmo值视具体HBA卡而定。HBA卡自带驱动可以覆盖这个参数值。
· fast_io_fail_tmo – IO故障等待时间。超过这个时间向上层返错
Host:/sys/class/fc_host/hostH
· port_id – HBA端口的 24位交换机端口ID。
· issues_lip – 重置HBA端口,重新尝试发现存储端口。
Persistent命名
操作系统通过路径发送IO到存储,Linux系统SCSI磁盘路径有以下部分组成:
· HBA卡的PCI标示符
· HBA卡的管道号
· 存储端SCSI target地址
· LUN(Logical Unit Number) 号
SCSI磁盘路径在Linux上有3中表现方式:一、/dev/sd目录;二、通过major:minor号;三、/dev/disk/by-path,该目录是 /dev/sd设备的软连接。Fibre Channel磁盘路径示范如下:![image001](data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAoIAAABFCAIAAABR4BBnAAAdo0lEQVR4nO2de1xUZd7AfzNcZOQmqHkBFAjUGLKLGesQNWY3cDJK5Y2XTWutYVsp+LyrsZnbWq9vG0k1Y9gubLVpkcWyhbsjdNnWcVnH6LZdgJQZBQM0FAREGISZOe8fZ+bMmZlzzhwOhxnU3/fTpw/zPM/5nd9z+/2e23mUAIJwkrhP5W8VEJ9y/B6dWwi2gcsBz3q/GJAXFCSUlYmouegCvRPoy5dd7qhKSqC4mF/98jR8vuk5F2f/ZECuUoFO1zSJBU4Q/JseW8O7ZNoAwsg4Rlp+8FtOVMvhQJnfBXL0Lz5dTzQ3rCrRb0rrrN6YV8Zpky7vYXV9OagSH2GNdrN0jp/ygspda2LIMJcS9l6YqhL9pjRgeFQArGrwVQAAoKFUSbVIDoFc73IR6RLJ/hQV01m90aNDsAp0U55RdwaBYivPHuVeuq46uj7eUMpPQ3ZEf0pQFEeliP6uyzFKAE1lbev0JeDZ8iYeeUF8m6gDAAECPfsXnyi/QnkOeUGlvsThReQFlZUFcoAJiuKA/SlXEaoS/XgFgqrEGeOJm0/lU1De3LCqhErMu0DYFBNWvKAqYEsnsCppeXKrFO8aMlYiq0D36qIn5BAouvJcTbTAVUHW5uWSF+6CYmxUiftUYvcvoVmupGfSpRB9aVIuvajxTpC4rdsEwW5efCuQI/O8ykUq4J1iIF++LKah3jHqaGrriFm2XD5BUcLUaGrriIlLcCRsbe8cb76EIZLAprK88U2Fhakhj4c25rcKrOWC3NjDBxwSdcVK2mxSWANgF+gJrT2wCxRbea4mSl8JlBdktO/hM4wXWJVi9y9hUQlxMWm5TktJ75a+NCmXatQ40BUr6zN864nlBRlwYFzz+IkWyBdXN+w2vPZEVaLXMxe1qoQlghH58mUxne2t1O/W9k5HWxA9SpgaALpi2hrk8mVwmEcFCVPDlwIp2KvSF2oIrMqEuBhxNWQXCLr6hrRNtDlkfKzTdrEiuvJ886VaF1fPa5wltCpF7l8Cs6wrVtJHSglxMR32cZ4vTcqlGjVOfOyJeTf5cQock6UUhnNvmFzG7uxctmaTw1p47kM1lCqVxaoSvT7DfZ+so6HBTTR9/4HiF/2lcoAmAIAO2jypqa0DljlTiR7Fgfen5AWVu+L2Kot51jinwAwBm7XMAuUFlWbYq9frXdLaZTo30NL0azxexVyVjPUFndW/gDbOfDmeayhVFgP5XvqGHXuOx16V8vhY6KhPKNHvckh02RocewPgFKgr3hhfuUuv39RQurE9dws8l8dvz0h05fk00Yz2PcVuQa7V2VA/FoFjyJeXBjCBfVlekBtb/RytUnxpUi7VKGbYjIO7BdMVK6HEJ/vEDE1efIGka3NYyk30/HL0L66ux4zTDTeV5ZXG6XPbn1PSTqisU5WR5akq2QSlSqUOAEBX37ApN97hTQGayvKUZaAq0We4iCaD3Ujcp2oCzkmI6FGOvDCcIPP2FPlgbnt1Q1pugVzncdZmzALToF6pJKtaXlC5iypeVtgFNpXlJd6uUiqVTJG6YqUOQFVSGb/Hw9OzVSVjfQG5acSVr6ayPGWZqkSfGy+HtvbqjcW0FybErWHOsfBaTtuUUUqTuMVeLzyqcmwCyWio3rgRtuzalQYNpXyGYaIrzytfqnXL2veUuQWt6ShVOgYOtM7JQ6BeX+k5QhTSACamL9uRF2yJ25tXPGHvugyj2GEzDgzo9lTnbnGzluIjXw7iToUZBSbEQfXGYh2QFlVeUJDg8Hqs/Yszig33vWH6MKm1vTMtg5yLqzLSaCtyXrbQeMCx1Sp6FAAA6IpLGxr2uivNY8dXV6zMKysrVu6N2+WyLiFMIK0Qm9o6IDbe21oQ3z1p/giqSq9q6IpLO9bs0me0eQyOneOMpgOHqQYlvJYbSovpZehYTxNWUBwCQV5QmVGfV9bUVJanVG6sjt3EZ2FKdOX55EuVkUbvt/YgliV0HgIZGjaAkAYwMX0ZgBzDwHP0MawvTcqlGiUCZMWM0z14R7UcDog632YWqKvvWLOLOgVIO4vB3r+4oljx0xEtdx8kj491jABEj7KjY/h2y/tTFLQxiTgC+XWHsQicQHiooat335UQKFBYGYpUUE6BqnVrOmiDprLnqt0bABOiK89DoCojjb7XN34NGb9yFNIAJqgvM5p6X5qUSzVqvPjIB5NfFYl7NotFoK5YqVQ+B1v0+gndH/bihmnd2/vMbSy0tnfSz50mxDlPDYgeJUyNsZ054yHQHdrxEnEE8kZAVXpVQ1WSUa8shU0uRaYq0bt90TO+qvRYQaAtsAkqKC6B7kkPHO7kUXCiK+81X2M1owJblKAGMBF9WVVCN/XOU6W+NCmXatR48JUPBlCti2sTdyrMLbCpLE+pVCpLYZPQjz694e6GaXaCfjpYV9/geppuvB9sNZXtbXB+eaDKSHOug4keReaG8UtH7qdordP1kL9QgXRc1i7kBZWMicYikCfCqtKLGqqSjPpiHej2VMfS7XBreyctnctxc2FVqdtTDWvW0U8vdzokCisodoG6+gYXp8nzsLzoynvNV0JcjOfASlffQJu7qzJoF154LyjGb4IFNQDR+7Jjp8DxAvnyOGidoHddhlGCEeKDXT5f5h3F8WWe6AJdv8SnL/dw9C+OKFYkrm/V58Z2xnTsVe6Jr9y17DDHBUBstyF5O/+buE9F3RXlfM7jGdGjOC75Yn3KJV/u1xMJEKgqKcmAtDR7GbqfuqsNK025R0e9gk9B0dO4wX5bk0cs08VLdKi3MKuhop+Ntf+gxXPd4zWOqhyrQK7yYBXo0gDYH+JoOOIozxVFioxlaIg07RsaGtLS0mg1zSEwcZ/qjchct1CyDQhqAKL2ZYYDuyzXaE28SbnEojiMiTeEzYPl9humGKwPRxTH3ZCiC3RvbqzWwb1/cXU979gv/OB9Y5QALu/LLLlgu0WL/yMTBFbZZQXbLVq+1wTxJRdHFcsLSsR1TaILFITLd8Ob0gDS9CWlSmXeBL7y4qhvBEEQZHJxYI/Im8+iCxSCy3fDfL8MGwf477TwZ/KMVyaPJgiCXL40NYnsM0UXKAiJ9yQIglze4DjscgDnSP5CQhCEv3VAEARBkMsUf/0LSwiCIAiCoBtGEARBEP+BbhhBEARB/Aa6YQRBEATxG+iGEQRBEMRvoBtGEARBEL+BbhhBEARB/Aa6YQRBEATxG+iGEQRBEMRvoBtGEARBEL+BbhhBEARB/Aa6YQRBEATxG+iGEQRBEMRvoBtGEARBEL+BbhhBEARB/Aa6YQRBEATxG+iGEQRBEMRvoBtGEARBEL+BbhhBEARB/Aa6YQRBEATxG+iGEQRBEMRvoBtGEARBEL+BbhhBEARB/Aa6YQRBEATxG+iGEQRBEMRvBPpbAQRBkEsTC2FZbUq7WrZke2yFZ+yzJx9vNH/5TuK/AiVOO9w92nX/8ZsiA6L/mtTgMz1thK26942qs6+fGDFOlYYFSYIywu78XUyZzxQAgNxjN/dZe4ZsgwPWPitYAyAgMiA6OSRVEbbivqj1EQHTfKkMSZP563fPVnw5WH/acmqKJGROUNySqelrozckh8jFfZGEIAhxJSIIgiAAYLYN3XxknpWwfLrQFBU4gx719aDhobY7AeAvVxoWhFxNhb9+5sWdp7etjnro6bk7faPkeeu5/2n/ecPgAXrgtIDpBxe1jV+4jbDlHEuXy657JuZVeviDrXcAwJsJH1Mh1zZFEMDsjOKCE3XJ345fmTGh7frdn7tf9lQpAAKemPPC/dFqEd+Fi9IIgiATgkw6VRG2wgpW/UCtW9TuHi35R+fIj/TwQ+c/AYCcqId9o+GobeTxH3MaBg/MDZq3a977X17Vs3NeFQAMWPtEkd9vPWu80Phhf7XXlAGSQAD4Vj5A/veflP4Pk5t3xO5ZLFsaGxQvijL8Kf1pyxvdL0lBun764zVJX36V0nt40al3Eg+ujnrICtbnT21qNn8j4utwURpBEGSiWBFxj36gtn7go3uj1lGBnSMnDg7UkX/3WLqocLNt6Fvz5xEBUYtki32j3o6ffvPV0KGYoPg9Cf+YETQLAG4Jz1SGZ5ltZlHkh0inAsAwYbYQFvraO30eTCJ1nRNKJdI5wXFzguPuiLxXFE34849z+97qeSVQErRrXvXPwm4lAwMDwuSy6+Wy6wMh8L3eP73T8yrjRoMwcDaMIAgyUWSE3SEByWeDB2yEjQp8v/dNAojpgVcAQK+1hwrXD+y3EKNLp2b4RrfPzv/zvd4/BUumvDKvivTBJNp571XE/22cws9Z+06NtBOOXA9az3WMtF6wDbOlt4GNLcqXWAjLC6eeAIDi2S9QPpjO2ugNAPD10GERX4puGEEQZKKICpyxWHbjoG3gh2H7MqaNsO3rezsAAsiV527abFjX9y4AqKbdT/7MPXZz3nGlI2rvrUevVBmv+fHCMTJE3baKiuWfkk7pT08BwOOztl0ZchV3LozDTZvb1y8/kri0eUbeceVfe9+kx34z9FneceXS5hn3GJe8evr/zlvPAcDaY8vuMqYsOzKHTHPz0fkrjYuzTUvInw8cv/WB4wxOziuMmlgIyyrjdeq2VQCwv++9e01LlzbPeKRN1WM5TX/WRtiazF+/1VO28cTqjCPzGBX4qP+vXZaTyVNSc6KZ9wXmBV8JtDWMB47furVDDQAtw98/2bHh1qNX/uyH2W/1uJxuO2L+7smODbcdTV7SHH3H0YVvdL/sJhMXpREEQSaQjPA7vzU3fDX4b7nsegA4dP6TM5afbg67a2HIYqAZ9B7L6cPnP40OmHlzeCYZcvzCkWHCfN56bqo07PlTmwds/T1w+qNz7z8yc3PrhaMNgwcWOs528U9JcXCgznihMSYoPjf6l9z6f9z/wZOdGyzEKPmz0fxVo/mrGYGzbgnPBICvBw2PnFCRsW0jLeVnntcP7K+60pAedvu/Bz7qtfaMEBcAICIgKlwamRySQgr5zvwF47u+Hfr8nZ4/fD548Kz1DBlyw9SM1xNquTVZOjXjxIipY6T1la5nXusuJWM/Hzy4s2sbeTTMbBsq63p2X9/bA7Z+6l2MOpC7+DnRG9hKw23x/DvzFy3DjUndck3Xb6nzXG+ceemB6QXk33/re2db56+sYCV/dllOarue/vTcvspEPU0mgiAIMmH8LHQ5AHwzZP8A6d2zFQBwX9SDVwTNAYBTo+1k+P6+d61gvXtaLrWHOj1wFgAMWPuPDH9H9x8AUNdfDQB3Rqwea0qKT/o/AICc6IfpW7aeGIebSM+3NmrDh8nN9YvaZwfFAsCVUxYBgNk29JuOhyzE6H3T1h9edOqjBUfWRm2YIgkBgKfn7vx44dEvUrpJOfWLfqxd8L123ntsLyKXr9e1rvjwXDXlgwFglBjxqsnUgDAAsIL1te7SlJDr3k448P6VnwPAZ47j3091PPL22V2jxMjKyPufi3ntkwUtqbIlV4Vc46lGo/lLALgx9BY2PU9bTgHAtMDpVMgwYX65a+vVshtejHv7nwuPAUCvtZvS+ZmTBVawPjD9sdrkxi+v6imfvw8AGs1f0WXibBgRhkmbnlxkYIxS1xLlmT5WZwyYtOnJzVu5VKzLl9Rk0xN4BCAIb+Sy62XSUNK+d4y0Hjr/SXzwguURK7tHuwDgpOOk9L6+SgC4L+pB6sHIgKjO0bZ+a++Xg/8CgBCJbJiwn5wizx7fGXnfWFNSfGNuAIBbwu/iVv61M6UWYjQrMmfrXA0ZctZyBhyO/72zf+qynFwYcvVv5+6USqRTA8KoZMJIlS3JiXpYGZ4VGRg9Jk1IEqcsej2+lvTKodJwasHfMPgpALw8b68ibAUZQp+M0iFlxgTNZ9PwP0MGALgq5Fp64O0R2S/E7pZKpACQPCU1OnAmGb6n5xULMbo66qFNs58jQ+YHJ3vKxNnw5MWkTZc4SNeaqLD8Ol9qUZdPvdwdhcZIeFAr5vd04lGXT5VlcpEBKrIkDNgzamppVGdDPmO2Tdr0dK2pLl/iUiombbrEpV7q8iWS/DqeySj13GqWikXYELeIqEZCVhqtzdD74JiRSqQpIdd2WU6eHj31ZreWAGLDzF8DwIygWYGSoLPWM2bbUJP5a9OF5mtkafFTnGY6MiAKAPqs3V8M1gPADaH2o1vN5m9OjJhSZUtigxPGmpLizOgpAJjL7m9IPh88CADqmU9QIeRZKnLK+2H/XwDglzOfJD3QeCDFVibq74n6uacP9qoJSdGsZ0kfDABWwkItX2dF5gDAoyeyFT/M3dCa9Wa3tt9yllENiUQKtCm4J+RoKSP8Tnrgtrm7qBKoTjpMHXAjdc6LfpRK+ePIMU+ZF6MbJi2h/S82U+rWhdyZ7NatLl8iSa7Kodzcblg/+VQ2FCV7lmyWaKf4RSWz3DlMUNd6jh4IgiCIQ4VJAGDaX5WanZlZvrV5vdZENqSsCofjTm7eeqgwKTNbDYZmIyXd2GwAqKihasjU0giKlGSeyaj4iizBph4RgcxyolYNCo2RbAjgOtLc2pws2HAsli0FgE/P7dvX93ZccKIq0n4Ia1ZgDAC0jxwjjxqtpk2FASAyIBoATlt++mKoflrAdHJr2Qa22v4qALh32joBKSnI73T7rb3cmvdbzwJAbJDTi08PmAkApNc5duEIcC7higi3JiTXytKov4cJcwAEkH8/PXfne4mHnphdsiJiVbel6+WuratM138/9KXnW8jFdnL27Inh/KefDx4Ml0ZmRqyhh4cFRDCmJ6fj5Kkukqbh/3gm84MbdnWQ7nbHcwroNkSlk1R4iMWUOs0uM5N7fbEuP6tCXUtQxgAgqfDQ5FP5YpoN2zFpt1eoU1o8R2/OoZlpfxW51p65OadqR11mucN3kxaarIbkFAXNn9bVVCgUCmhssTdQ0/4qgyJnZRLfZAAAoFCrFWAoWo+OeJKSWU4YNY3CRkqpU28AAE3X0yPEhUdnbqE8x5ygOAA4Mvz9h/3VMmnoHa5LxzMCZwHAP8/93WwbXDI1nXScI7bhv/e9EyKR3RW5RkBKCtJVk9NZilMj7Y+0qcgrrkhIB98x2kqFzA6KA4BeSzc4ZqLU9vZ4YLtCi6cmJOHsd14uki3Om/6r/435477kr16IfbPP2vPMycc8k9097b8B4MWftpwePeUW1THS+lTHIwCw8Yqt1Jybm6nSMHBsJwOA2Tb0fu+bABAikdGT+Wc2TNlvowaKkqkBJvMUkDZEBW26RCJJLjIYipLHsUg0yTFpt1coNJs5vK5zrOIcnNPGL45AcgWbiqDKiy0c6GMkb8P+pMJDtGGCk8zyyTvGMWnXF6XWlhe6j95q1QCOEqe8MEBS4aHsGscUvyIrq8I+/0/XmpJW5jj9qamlEVJzchSGqv1kgLHZ7l55JiNJ2bxbg454/LguVDt/cTR7viStpFXfWEiV3QAAw4R5btC8zMi1VPisoBgAeO3MjkHbwK3hd8ukU+lPxU1JBID68x8BwNLQDNLn/ePc3/qsPSsi7qHPwPinpMiNzgeAV04/+0HvniHr+VMj7a+feXH1sbTPBw9aCQtN8yUA8NJPW7tHu4as5/f3vdc60gIA5Or3srAVAPBkx8PfDH12wTbcMvz9pvYHhH2J5BVuTSQgAfaPjx9svaPox9yW4e8v2Ib7LWcthAUA2pnWh3OiHr5GlnZy9Me1x5ZV9rzaOXLCQli6R7vePVuRe/yWs9YzyvCs3OlezpZTkJ+Aa7qe7rV0/3jhWMGJNeT2Afl/Cj8vSicVblU7pgs8poDk7Jd0ygTB6AUuAYzNBkhdwJ63iqz1sNvuPSq2241J3X4yjCBq1RVZTitES+xi4JnCTdr0rEZyhMQ17GfaCrgY1v1N2vVFBvoasD00XZLVSK1D2r1wjX2v1rGoUqumTf0PFSbRDbJpf5VBnV24MkdhX4Cuq6lwVCDPZHaSCg/VqtERTyBs3YEvSQtSXbYZ+DI7KGZm4GwAuC/qQfoiamxwPACcGDEBwD3T8tyeygi7UwIScoNzSWg6eeK6baQFAPKmPyos5brjt5GT3Vsj7l4btWGEuLDt5MZlR+bcZUzZeXrboG0gKzKnIl5HpV8/o1ACkn+d/3BFS9KyI3O2dD58ztoLADV9ewCgaNaz0wOvMF5oXN96+40/zFx7TPHJuZoQ2mDCbBsCgGDJlDEXmQfcmpBzZbc7OCmv3G/tPTCgW3tMceMPM28+On9L58MAoAxf6VYmACCVSF+d/3562G191p4XfirOMqYuaY5a0ZL0+1O/PmftXRG+6vnYP/PX+bFZT8ukoR+fe195NOFu07VfDf17w4xfg8esfdLsDXufAjqoq6kAQ1FyuraOxR3ka3n5iYt2Mq3Q7LYvvG/WOEw6ZBY6BiXJKbR1T+bEzOF1O4oM6q2F7u7DA2orgGubddKt+5u064tAoWAITaWN/ep2FKWq1QDZ5YRR40hcly/JqqA2wu3DC6dBNjYb1NmZkLQglRxRmloaQZ1tzz3PZBSZ5eiIJxC27uADlOErZdLQJVPT6YELQlLJP2KC4tPClG6PxATP/69odbg08vErti0IuXqRbPHtEdkAsDZqA7mkLCAlATbqPq+tczVPzXk5ccqiQEnQ9MAr7opY8+f4j34f+zp9Un5D6E1/nF+zZGq6TBoaKg3PiszZm1i/Ouoh+4ni4PlViYbVUQ/NDJwdLJmSEnLdb+do/zC/hno8SBKcOGUR5fAoUmVLyNktRUrIdYxfEPHU5MbQW+YHJ9Hd22LZ0qtlN5B/vxa//4Hpj8UHLwiWTAmVhl8Vck3hrGe3x5R7lgkAhAVEvDr/g53zqlaEr5oZOJssnPSw216Me/uleZVuKxaLZUuTpqSw6ZwwZeFbCZ/eFHaHTBo6PfCK380tI49Yu82GgXMHdUJwTGYJgiCMGoX9R60a2G06/ZFajVqtUKjVCnpybofAJ8EkwlkozHHOjDh/OX0GADhW/bkSe4a7iXBIoZe9Ky4zxMlOrVqhMRo1CoVGw755rdBoNBqjva0YNQp1rX2v29n6aO3I3mSdBUT+5Vq6PJO5lLLjlZx9AiEIZrPhGub8xdYd3B+mV7Z7C+fqm75g1DZ61PyduCkRX/LF+frFjWGFJ+6nB/pnNkzNLJKrcoxjW1uuq2lOSSH30RprXJc9PT7mcR6p5gqadAjYgKrbUWRw2BRPd8rztQtS3SwMd82YWhoZj0pPxvVogMxyR25W0g/v2X0tleHCQpc8t2jTs0CjUVAZpZ8Dz8xWQ2OLtqbCscGbma02VO3f3+y68s0zmYuu5Ix4e6PIhYCME/qCkV8IlAQu8LgPa5wpEV9CXt1Fngmg8PMRLaeld11KZcOk3Q7Z5PpGUuGh8kwXr5pUuFVN+xoE6nZU5ex26zJJhbtzqib7il9S4W4NFCXTvVldPl/fVreD5VINr2Rm0/fL6vK9vJDpmDrp2Njcy8XHgsJDRPlK19mwk8xstaGqqtG5wZucojBUVTXSz13xT0aHdMQGgRV5mUM/nm7SbhfrAzqTNl2SVaGunWSbLchFhIWw1PTuAccxdYpJszfMbwpohBza9rFJu74olT42zcxWO88s5WcB07j1InHEhwijptF5x4SXO5wyN2sU9g9ba1IEzoYBMsuNGnDM+2qyBdkb0/4qA9f5souKiiyJJF1rpC3fuH4VnZyiMBgMzg3epJU5CoPBI/88k7mQWS50VeOyg34VS7rWBEmFu6nesB5yxvABXV2+JMt+8MRuH2jrPeQ3HOiEkTFwbPiHb4Y+6x7tGrWNnBpp/03HQydGTDJp6G3hq1zSjXepe+ywbjaSdodpx9f1EaNG4b5rSaWkxbls/Lj+dqRCRMDdXUzi3UxavVPTWs+GQLYVo0Zhzwu9tVxMZwwQBPEvN/0Qt7gxzO2/v/S87pZMQhBePpoWnbp8yfYUth1hl5uKybuJySEqAHW7jUmbvh52b21Odoqpy09v2eyMzEktanadPrpfCmzSpu9YMAlvxEAQBEEuDSp7Xn2/d3fn6IkR23BoQMRVIdfmRucvj3A/N+4HNzxuSDdMOmDKR7P8cwJU/GT/9wYQBEGQy5GL0Q0jCIIgyCXCpDmihSAIgiCXH+iGEQRBEMRvoBtGEARBEL/x/xWKVSfDkxx5AAAAAElFTkSuQmCC)
上面这三种SCSI磁盘路径都不是永久不变,当服务器新增或者删除新的PCI设备时候,路径就会发生变化,有时候即使是服务器重启也可能导致路径变成发生变化。
为了保证应用程序使用的磁盘路径能够永久不变,有以下几种方法:
1. WWID
根据SCSI标准,每个SCSI磁盘都有一个WWID。类似于网卡的MAC地址,要求是独一无二。通过WWID标示SCSI磁盘就可以保证磁盘路径永久不变,Linux系统上/dev/disk/by-id目录包含每个SCSI磁盘WWID访问路径。实例:
scsi-3600508b400105e210000900000490000 -> ../../sda
提示:Linux自带的device-mapper-multipath工具就是通过WWID来探测SCSI磁盘路径,可以将同一设备多条路径合并,并在/dev/mapper/下面创建新的设备路径。通过multipath –l可以看到WWID与 磁盘路径、Host:Channel:Target:Lun与/dev/sd以及major:minor对应关系。
2. UUID
UUID是有文件系统在创建时候生成的,用来标记文件系统,类似WWID一样也是独一无二的。因此使用UUID来标示SCSI磁盘,也能保证路径是永久不变的。Linux上/dev/disk/by-uuid可以看到每个已经创建文件系统的磁盘设备以及与/dev/sd之间的映射关键。
注意:Linux自带的md和LVM工具也会在SCSI磁盘上面写入UUID信息。
3. UDEV
UDEV是Linux提供的一种让用户对设备进行自定义命名的机制。可以通过UDEV将WWID/UUID信息跟磁盘路径映射起来,这样也可以保证设备路径永久不变。
磁盘删除
在删除磁盘之前,建议先备份好数据,将内存脏数据写入磁盘,然后再删除磁盘所有关联路径。对于使用多路径软件的磁盘,需要同时删除多路径设备和每个路径磁盘。删除磁盘建议在系统空闲时操作,内存脏数据写入磁盘会增加系统负载,可以通过vmstat 1 100观察系统负载。如果满足一下条件之一,则不建议进行删除操作:
· vmstat 100次输出结果超过10次以上的free内存小于系统内存的5%。
· vmstat结果的si和so列不为空,代表系统正在进行swaping,将内存数据写入磁盘。
磁盘删除操作步骤如下:
1. 关闭使用磁盘的进程,备份磁盘数据。可以通过fuser命令查看正在访问某个磁盘的进程。
2. umount卸载基于待删除磁盘的文件系统
3. md和LVM中删除磁盘。LVM可以使用vgreduce从卷组移除改磁盘,然后使用pvremove从磁盘删除LVM元数据。
4. 如果磁盘使用多路径软件,通过mulitpath –l查看磁盘所有路径,然后通过multipath –f删除磁盘。(如果使用powerpath多路径软件,请参考powerpath操作手册)
5. blockdev –flushfs 将脏数据写入磁盘。这一步骤对于裸设备事情情况尤为重要,因为裸设备无法通过umount或者vgreduce将脏数据写入磁盘。
6. 删除应用程序或者脚本中的磁盘路径引用。
7. 使用命令echo 1 > /sys/block/device-name/device/delete删除磁盘,device-name以sd开头,比如sda、sdb;或者使用命令echo 1 > /sys/class/scsi_device/h:c:t:l/device/delete删除磁盘,h代表HBA卡号,c代表HBA卡channel,t代表SCSI target ID,i代表LUN ID。h:c:t:l这些信息可以通过lsscsi,scsi_id,multipath –l,ls –l /dev/disk/by-*方式查看。
8. 直接删除磁盘文件。
磁盘路径删除
当系统使用多路径软件时候,可以在线删除一条路径而不影响业务使用。操作步骤如下:
1. 在应用程序或脚本中删除磁盘路径应用。
2. 使用命令echo offline > /sys/block/sda/device/state将磁盘路径offline。多路径软件将会使用剩余路径处理IO。
3. 使用命令echo 1 > /sys/block/device-name/delete命令从SCSI子系统删除磁盘路径,device-name通常以sd开头,比如sda、sdb。
添加新磁盘或者磁盘路径
添加新磁盘或者磁盘路径,系统可能会自动分配老磁盘使用的名称给新磁盘,比如/dev/sd,major:minoe和/dev/disk/by-path。因此在添加之前,请确认应用程序和脚本已经删除老磁盘的引用。
添加新磁盘或者磁盘路径步骤如下:
1. 完成交换机和存储配置,记录号存储端口的WWPN。
2. 使用下面命令在系统上重新扫描磁盘设备。
echo “c t l” > /sys/class/scsi_host/hosth/scan
h代表HBA号,c代表HBA卡channel,t代表SCSI target ID,l代表LUN ID。
也可以使用 命令echo “scsi add-single-device 0 0 0 0” > /proc/scsi/scsi完成扫描。
a. 某些HBA卡在存储分配完成后,需要通过issue_lip才能发现新增加设备,具体参考“存储链路扫描”。(如果需要issue_lip,建议停止IO操作)
b. 新分配LUN在操作系统没有显示,可以通过sg_luns命令(来自sg3_utils包)重新获取阵列LUN列表。
c. c:t:l信息可以使用命令grep “存储SP端口WWPN” /sys/class/fc_transport/*/[node_name|port_name]获取;也可以通过lsscsi、scsi_id、multipath –l或者ls –l /dev/disk/by-*方法获取。
3. 使用多路径软件multipath(或者其他多路径软件)确认磁盘路径添加正常。
存储链路扫描
Linux操作系统提供多种存储链路重置操作。存储链路重置通常用于多路径设备添加或者删除,这是一种破坏性操作,将导致IO操作超时。请谨慎使用这类型操作,另外操作时请注意以下事项:
1. 操作前请确认链路没有新的IO,脏数据已经写回存储。
2. 在系统内存资源使用紧张情况下,不建议进行链路删除操作。系统内存使用情况可以通过vmstat 1 100命令评估。
以下命令可用于存储链路重新扫描:
· echo “1” > /sys/class/fc_host/host/issue_lip
issue_lip重置(会影响正常的链路)HBA链路,重新扫描整个链路并配置SCSI target。该操作是一种异步操作类型,具体完成时间需要参考/vag/log/message日志。Linux操作系统自带的lpfc和qla2xxx 驱动支持issue_lip命令。
· echo "- - -" > /sys/class/scsi_host/hostH/scan
· rmmod 驱动/ modprobe 驱动 删除/重新加载HBA卡驱动。
参考
· Redhat Linux – Storage Administration Guide
-------------------------------------------------- 少年应是春风和煦,肩头挑着草长莺飞 --------------------------------------------------