字符串、文件操作，英文词频统计预处理

[大数据]数据预处理

 

1.字符串操作：解析身份证号：生日、性别、出生地等。

 　   地址码： 表示编码对象常住户口所在县(市、旗、区)的行政区划代码。

　　出生日期码：表示编码对象出生的年、月、日，年、月、日代码之间不用分隔符，格式为YYYYMMDD，如19880328。

　　顺序码： 表示在同一地址码所标识的区域范围内，对同年、同月、同日出生的人编定的顺序号，顺序码的奇数分配给男性，偶数分配给女性。

　　校验码： 根据本体码，通过采用ISO 7064:1983,MOD 11-2校验码系统计算出校验码。前面有提到数字校验码，我们知道校验码也有X的，实质上为罗马字符X，相当于10.

2.凯撒密码编码与解码

　　凯撒加密法的替换方法是通过排列明文和密文字母表，密文字母表示通过将明文字母表向左或向右移动一个固定数目的位置。例如，当偏移量是左移3的时候（解密时的密钥就是3）

3.网址观察与批量生成

 　　比如学校官网的新闻模块，每一页都有相对应在html页面，比如第一页，网址就为：http://news.gzcc.cn/html/xiaoyuanxinwen/1.html 以此类推。可以直接使用for循环输出网址。

        for i in range(1,6):
        url='http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html'.format(i)
        print(url)

 

英文词频统计预处理

　　通过文件读取字符窜

 

读取文件

 

运行结果

 

词语统计