int connfd = accept(listenfd, (struct sockaddr *)&clientaddr, &cli_len);
最后发现是初始化的问题，cli_len和clientaddr不能为负值，因为上面没有初始化，所以在accept的时候会出问题。最后加上初始化的代码，问题就解决了。
