【实习】暑期实习之python笔试题（一）

近期忙于找一个暑期实习的公司，无奈个人水平实在太水，合适的公司也不是很多，笔试题目也积累了一些，整理一下好了。

公司 A

题目一:编写一个脚本main.py，使用方式如下：

main.py -u http://www.sohu.com -d 'a=1,b=2,c=3' -o /tmp/index.html

功能要求：打开-u指定的页面，将页面中所有的链接后面增加参数a=1&b=2&c=3(需要考虑链接中已经存在指定的参数的问题), 然后保存到-o指定的文件中。

 

题目二:编写一个 ab(Apache Benchmark)的替代程序,请尽可能的兼容 ab 你所认为重要的功能和参数。

 

题目三:

有配置文件有类似下面的配置:

http://m.sohu.com/c/5/|财经|200

http://m.sohu.com/|体育|200

http://m.sohu.com/n/346620805/|信号|200

 

编写一个脚本，要求如下：

1. 读取配置文件，对每一个url进行检查.

   例如http://m.sohu.com/c/5/, 这个url返回的结果应该包含"财经"两个字，并且HTTP状态码是200, 否则报错。

2. 需支持并行的检查多个链接

 

Solutions:

我选做的是第一题和第三题。

第一题不难，主要解决的是打开某个url并遍历其中的所有链接，以前写爬虫的时候搞过这些东西就比较简单了，同时也涉及到了基本的I/O操作，考的还是比较基本的吧。比较生疏的是命令行参数问题，平时用的比较多但是自己貌似没实现过，趁这个机会也看了一下有关的问题，不过鉴于问题比较简单我就用了getopt解决了，其实有可以实现更加复杂的命令行参数的方法的。

有关的连接可以看一下这里： http://blog.csdn.net/jiang1013nan/article/details/5854378

代码如下：

# _*_ coding: utf-8 _*_
'''
题目一:编写一个脚本main.py，使用方式如下：
main.py -u http://www.sohu.com -d 'a=1,b=2,c=3' -o /tmp/index.html
功能要求：打开-u指定的页面，将页面中所有的链接后面增加参数a=1&b=2&c=3
(需要考虑链接中已经存在指定的参数的问题), 然后保存到-o指定的文件中。
'''
import urllib2
import re
import sys,getopt
opts, args = getopt.getopt(sys.argv[1:],'hu:d:o:')

def Tryurlopen(url,d,o):
    d = getd(d)
    patterns = re.compile('<a\s(?:.*?\s)*?href=[\'"](.*?)[\'"].*?>')
    f = urllib2.urlopen(url)
    contents = f.read()
    m = re.findall(patterns, contents)
    file = open(o,'w')
    for ele in m:
        #print ele
        if '&' in ele or '?' in ele: #url后面有参数
            ele += '&' + d
        elif ele[-1:] == '/':
            ele += d
        else:
            ele += '/' + d
        file.writelines(ele + '\n')
    file.close()

def getd(d):
    changeresult = ''
    dtest = d.split(',')
    for dele in dtest:
        changeresult += dele + '&'
    changeresult = changeresult[:-1]
    return changeresult

def main(argv):#利用getop模块实现基本的命令行参数处理
    url = ''
    d = ''
    orietion = ''
    for op, value in opts:
        if op =='-u':
            url = value
        elif op == '-d':
            d = value
        elif op == '-o':
            orietion = value

    Tryurlopen(url,d,orietion)

if __name__ == '__main__':
    main(sys.argv)

    

第二题时间原因我没有做，只是大体的了解了一下，有兴趣的同学可以参考一下的链接：

http://blog.csdn.net/jhonguy/article/details/7576155

第三题考察的有基本的I\O操作，对获得的URL内容的处理，返回的HTTP状态码可以分析header解决，以及用多线程读取同一文件，涉及到了锁与同步的问题，也没有特别偏的东西吧，看来公司都是比较注重基础知识的，唉自己基础这么不扎实怎么办，还要继续努力呀。

代码如下：

# _*_ coding: utf-8 _*_
'''
题目三:
有配置文件有类似下面的配置:
http://m.sohu.com/c/5/|财经|200
http://m.sohu.com/|体育|200
http://m.sohu.com/n/346620805/|信号|200

编写一个脚本，要求如下：
1. 读取配置文件，对每一个url进行检查.
   例如http://m.sohu.com/c/5/, 这个url返回的结果应该包含"财经"两个字，并且HTTP状态码是200, 否则报错。
2. 需支持并行的检查多个链接 

'''
import re
import urllib2
import threading
from os.path import getsize
import os,time
rlock = threading.RLock() #锁
curPosition = 0 #当前读取到的文件位置
'''设计检查url的函数（完成）'''
def TestUrl(line):

    m = line.split('|')
    url = m[0]
    tag = m[1]
    #print  tag
    f = urllib2.urlopen(url)
    statuscode = f.getcode()
    contents = f.read()
    if tag in contents and statuscode == 200:
        print 'The url %s is true'   %url
    else:
        print 'The url %s is wrong.' %url


''' 设计支持并行连接的程序'''

class Resource(object):
    def __init__(self, fileName):
        self.fileName = fileName
        #分块大小
        self.blockSize = 1000
        self.getFileSize()
    #计算文件大小
    def getFileSize(self): #获取文件有多少行，即多少个url
        fstream = open(self.fileName,'r')
        fstream.seek(0,os.SEEK_END)
        self.fileSize = fstream.tell()
        fstream.close()

class Reader(threading.Thread):
    def __init__(self, res):
        self.res = res
        super(Reader,self).__init__()
    def run(self):
        global curPosition
        fstream = open(self.res.fileName, 'r')
        while True:
            #锁定共享资源
            rlock.acquire()
            startPosition = curPosition
            if (startPosition + self.res.blockSize) < self.res.fileSize:
                curPosition = endPosition = (startPosition + self.res.blockSize) 
            else:
                curPosition = endPosition = self.res.fileSize
            #释放股共享资源
            rlock.release()
            if startPosition == self.res.fileSize:
                break
            elif startPosition != 0:
                fstream.seek(startPosition)
                fstream.readline()
            pos = fstream.tell()

            while pos < endPosition:
                line = fstream.readline()
                #处理line
                TestUrl(line)
                pos = fstream.tell()
            fstream.close()



if __name__ == '__main__':
    starttime = time.clock()
    #线程数
    threadNum = 4
    #文件
    fileName = '/Users/gixiaochen/Documents/config.log'
    res = Resource(fileName)
    #线程池
    threads = []
    #初始化线程
    for i in range(threadNum):
        rdr = Reader(res)
        threads.append(rdr)
    #开始线程
    for i in range(threadNum):
        threads[i].start()
    #线程结束
    for i in range(threadNum):
        threads[i].join()

找实习的一点感受：

1. 扎实的基础知识+某一方面的特长才能有好的offer

2. 不管找不找得到，准备工作的同学都应该尽力去找，感觉找实习的时候自己提高的很多，多投几个公司多笔试面试几次，就会发现很多自己觉得不重要的东西还是很有必要牢牢掌握的，以前偷懒丢下的东西，以后都要一个个的捡起来。

3. 找实习的渠道很重要，我在微博上找了几个公司发了邮件去问基本上都收到回复了，时效性比较强。大街网上一堆HR很感兴趣的投递都没什么反馈，还是要转变思路吧。