USBIP源码分析

简介

在普通的电脑上，想使用USB设备，必须将插入到主机。USBIP却可以通过网络，让主机访问其他主机上的外部设备，而用户程序完全感知不到区别。

usbip的文章在这里：https://pdfs.semanticscholar.org/c7c4/cb054d75810fdb0a2affa11c288b7687267f.pdf

本文基于linux内核4.4.3，分析USBIP这部分的源码。先介绍整体结构，然后分两部分介绍USBIP源码

USBIP整体架构

从体系机构的角度上来说，USB的设备和总线都是通过Host分出，host叫做主机控制器，一个主机控制器会有一个root hub，然后root hub再通过接口分出多个hub，最后，一个hub的一个端口都可以用来连接一个外部设备或是宁一个hub，形成一个以host为跟的树状结构。而Host最终是作为一个PCI的设备，连接在PCI总线上。

在linux内核中，USB驱动的架构可以分成3层。

• 最靠近用户层的是USB设备驱动，这是每个USB设备有独有的，在它之上可以直接与VFS交互，比如键盘和鼠标这些设备，USB设备驱动就足以处理外部设备的交互任务，因为他们发送过来的就只有是一些很简单的数据，但是如果是一个插在USB上的网卡等设备，则需要在USB设备驱动之上再覆盖一层网卡等驱动，用来解析USB总线传输过来的数据。它与下层的USB Core通过urb交换数据。
• USB Core则是承上启下的一层，USB设备驱动通过urb的抽次昂概念来和底层交互，USB Core就用来解析urb，同时，还会包含Hub驱动等等一些USB驱动框架的其他主要部分。
• 最下层的是主机控制器驱动，前面看到USB外部设备最终通过Host和总线、CPU交互，也就是说最底层还需要有一个主机控制器的驱动，它主要负责Host的相关工作，将USB设备的信息通过主机控制器向上传递软件层。这部分会有一个PCI驱动，然后控制Host硬件

 理解了USB驱动的框架，USBIP的架构就比价容易了，主要部分也是两个，读取设备的主机端，设置一个虚拟的主机控制器接口VHCI，它不操纵底层的主机控制器，而是将上层的消息通过网络转发到另一个主机，在另一侧，实现一个USB设备驱动，它不是将USB Core的内容向上传递，同样是通过网络发送出去，叫做Stub端。

在Linux内核中，USBIP的源码写在drivers/usb/usbip目录下，在这些文件中，以stub开头的都是server端的代码，vhci开头的是client端的代码，其余是公共部分的代码。

下面从Stub和VHCI的角度来分析。

Stub端

主要结构体

usbip_common中有一个usbip_device结构，这是stub和vhci两边设备从后向出来的公共部分。这里有3个内核线程，一个socket，以及和eh相关的等待队列和操作集合。usbip_common中其他几个结构就不再叙述，比较简单

struct usbip_device {
    enum usbip_side side;
    enum usbip_device_status status;

    /* lock for status */
    spinlock_t lock;

    struct socket *tcp_socket;//用来通信的socket

    struct task_struct *tcp_rx;//收消息的线程
    struct task_struct *tcp_tx;//发送消息的线程

    unsigned long event;//记录事件
    struct task_struct *eh;//内核线程
    wait_queue_head_t eh_waitq;//eh等待队列

    struct eh_ops {
        void (*shutdown)(struct usbip_device *);
        void (*reset)(struct usbip_device *);
        void (*unusable)(struct usbip_device *);
    } eh_ops;
};

stub.h中定义了关键的结构体，他们的内容和含义如下:

stub_device是stub端的设备抽象，代表以一个外部设备

struct stub_device {
    struct usb_interface *interface;//接口描述符指针
    struct usb_device *udev;
    struct usbip_device ud;//对于stub和vhci两端的设备都做了抽象，用来表示两端交互中都需要的内容
    __u32 devid;
    spinlock_t priv_lock;
    struct list_head priv_init;//urb初始队列
    struct list_head priv_tx;//urb被提交之后
    struct list_head priv_free;//urb的内容被发送给了chci
    struct list_head unlink_tx;//unlink请求队列
    struct list_head unlink_free;//unlink请求被处理
    wait_queue_head_t tx_waitq;//等待队列
};

stub_priv被赋值给urb->priv字段，主要是给stub端来管理urb结构体

struct stub_priv {
    unsigned long seqnum;//给每个urb都有一个序列号
    struct list_head list;
    struct stub_device *sdev;
    struct urb *urb;
    int unlinking;//是否被unlink
};

stub_unlink表示一个urb的unlink请求

struct stub_unlink {
    unsigned long seqnum;//和stub_priv对于的序列号
    struct list_head list;
    __u32 status;//unlink是否成功
};

stub_main中有一个全局变量的数组，用来管理所有的设备

static struct bus_id_priv busid_table[MAX_BUSID];

其中一个设备用bus_id_priv来表示

struct bus_id_priv {
    char name[BUSID_SIZE];
    char status;
    int interf_count;
    struct stub_device *sdev;
    struct usb_device *udev;
    char shutdown_busid;
};

模块的初始化函数

先看stub_main中最后几行，有模块的的初始和卸载函数

module_init(usbip_host_init);
module_exit(usbip_host_exit);

usbip_host_init中主要函数有4个，做的工作如下

1、初始化全局变量busid_table
2、分配一个slab用来做stub_priv的分配工作
3、注册一个usb驱动，这里是stub的初始化，这里注册的驱动也是位于设备端，USB核心上层的USB驱动
4、创建两个sysfs文件，这两个文件的操作就在上面，rebind_store和store_match_busid、show_match_busid。

下面的退出函数usbip_host_exit同理，只是做了这几个函数的清理工作

 先看看它创建的两个sysfs文件。这是给用户态的接口。一个是match_busid

static DRIVER_ATTR(match_busid, S_IRUSR | S_IWUSR, show_match_busid,store_match_busid);

涉及的函数是show_match_busid和store_match_busid，show_match_busid用来输出名字，store_match_busid则用来增加或是删除busid_table中的条目

另一个文件则是用来设置设备绑定的驱动。

这几个文件的操作都是围绕busid_table和它的几个操作函数开展开，也比较简单。整个文件的内容也分析完了。下面就还有一个关键的usb驱动，也就是Stub驱动，很显然，主要的工作都是通过这个驱动来开展的。

Stub驱动

stub_dev文件最底部有这个驱动

struct usb_device_driver stub_driver = {
    .name        = "usbip-host",
    .probe        = stub_probe,
    .disconnect    = stub_disconnect,
#ifdef CONFIG_PM
    .suspend    = stub_suspend,
    .resume        = stub_resume,
#endif
    .supports_autosuspend    =    0,
};

从probe函数开始，这里只说一些和Stub驱动自身逻辑相关的重要部分，proe函数通过stub_device_alloc分配了一个stub_device函数。而这个stub_device_alloc函数中还有一个usbip_start_eh函数。用来创建了一个内核线程eh。

int usbip_start_eh(struct usbip_device *ud)
{
    init_waitqueue_head(&ud->eh_waitq);
    ud->event = 0;

    ud->eh = kthread_run(event_handler_loop, ud, "usbip_eh");
    if (IS_ERR(ud->eh)) {
        pr_warn("Unable to start control thread\n");
        return PTR_ERR(ud->eh);
    }

    return 0;
}
EXPORT_SYMBOL_GPL(usbip_start_eh);

前面看到usbip_device结构中有3个内核线程，这是其中一个，二且eh_waitq就是用来给eh睡眠的，出发事件写在usbip_event_happened函数中，只是检查usbip_device上是否有事件产生，event字段会否为0。

好，接着回到probe函数，里面有一个stub_add_files函数。可以知道这个函数同样创建了几个sysfs文件，他们为dev_attr_usbip_status、dev_attr_usbip_sockfd、dev_attr_usbip_debug。

其中比较关键的是dev_attr_usbip_sockfd，当写入数据为-1时执行关闭操作，另一条分支则会通过写入数据打开socket，赋值给tcp_socket字段，接着创建了两个内核线程。

看看这个stub_dev文件，剩下的代码都是处理断开和释放的函数了，这里就不分析，剩下的两个文件stub_rx和stub_tx可以知道这是和内核线程相关的了。所以说剩下的主要内容就是这两个内核线程。

rx和tx两个内核线程和stub_device中的5个链表

先看rx，主函数如下，沿着这个逻辑往下看

int stub_rx_loop(void *data)
{
    struct usbip_device *ud = data;

    while (!kthread_should_stop()) {
        if (usbip_event_happened(ud))
            break;

        stub_rx_pdu(ud);
    }

    return 0;
}

stub_rx_pdu函数中，调用usbip_recv收一个消息，usbip_header_correct_endian转换成小端，然后根据收到的消息来做不同的处理，如果是unlink消息则调用stub_recv_cmd_unlink，如果是urb的提交消息则调用stub_recv_cmd_submit。

说一下priv_init、priv_tx、priv_free这3个队列。stub中的urb通过stub_priv来进行管理。通过stub_priv，给每个urb分配了序列号，同时，通过stub_priv中的list字段，将urb连接到上述3个队列中，当urb被提交给USB Core，直到完成前，放在priv_init，提交完成后，还需要通过网络发送给vhci，发送之前放在priv_tx，发送之后放在priv_free。

所以说，stub_recv_cmd_unlink的行为就是遍历priv_init，找到那些还没有完成的urb，调用usb_unlink_urb让USB Core去取消他们。

stub_recv_cmd_submit函数，调用了stub_priv_alloc，这个函数的末尾将urb加入到了priv_init中。最后调用usb_submit_urb提交urb，注意这里的回调函数，是stub_complete。这个函数在urb执行完后执行下面的语句，将urb移入priv_tx

list_move_tail(&priv->list, &sdev->priv_tx);

然后，调用了wake_up，唤醒tx内核线程

wake_up(&sdev->tx_waitq);

接着看rx线程，主要是两个函数stub_send_ret_submit和stub_send_ret_unlink，因为这是一个发送消息的线程，所以发送的消息有两种，一个是USB设备的交互内容，一种是vhci发送的unlink消息的回复。

stub_send_ret_submit处理的就是USB设备的返回内容，dequeue_from_priv_tx将urb从priv_tx取下，放入priv_free。stub_send_ret_submit最后再将内容封装成usbip协议规定的样子，通过网络发送出去。

下面再介绍剩下的两个队列，unlink_tx和unlink_free，这是用来处理unlink的两个队列，一个stub_unlink结构表示一个unlink请求，unlink_tx存放还没有被回复的unlink请求，而unlink_free则是存放已经回复了的。

所以stub_send_ret_unlink中的dequeue_from_unlink_tx用来完成unlink的队列转换，剩下的代码就会通过网络发送回复消息

这样，stub这边的几个函数就都已经完了

VHCI端

这边的代码和上面已经非常相似了，抓住3个点

1、模块的初始化时注册的驱动程序，在usb_add_hcd中会调用reset和start函数，接着抓住urb的几个操作函数就可以了

static struct hc_driver vhci_hc_driver = {
    .description    = driver_name,
    .product_desc    = driver_desc,
    .hcd_priv_size    = sizeof(struct vhci_hcd),

    .flags        = HCD_USB2,

    .start        = vhci_start,
    .stop        = vhci_stop,

    .urb_enqueue    = vhci_urb_enqueue,
    .urb_dequeue    = vhci_urb_dequeue,

    .get_frame_number = vhci_get_frame_number,

    .hub_status_data = vhci_hub_status,
    .hub_control    = vhci_hub_control,
    .bus_suspend    = vhci_bus_suspend,
    .bus_resume    = vhci_bus_resume,
};

2、创建的几个sysfs文件。

3、3个内核线程的工作

就不赘述了