Python for Data Analysis | Names
Background
Latest Data Source: https://www.ssa.gov/oact/babynames/limits.html
yobYYYY.txt (1880 ~ 2016)
name,sex,number
这是一个非常标准的以逗号隔开的格式，可以用pandas.read_csv将其加载到DataFrame中。
1 C:\Users\I******>ipython --pylab 2 Python 2.7.13 | 64-bit | (default, Mar 30 2017, 11:20:05) [MSC v.1500 64 bit (AMD64)] 3 Type "copyright", "credits" or "license" for more information. 4 5 IPython 4.1.2 -- An enhanced Interactive Python. 6 ? -> Introduction and overview of IPython's features. 7 %quickref -> Quick reference. 8 help -> Python's own help system. 9 object? -> Details about 'object', use 'object??' for extra details. 10 Using matplotlib backend: TkAgg 11 12 In [1]: import pandas as pd 13 14 In [2]: names1880 = pd.read_csv('C:/Users/I******/Desktop/.../names/yob1880.txt', names=['name', 'sex', 'number']) 15 16 In [3]: names1880 17 Out[3]: 18 name sex number 19 0 Mary F 7065 20 1 Anna F 2604 21 2 Emma F 2003 22 3 Elizabeth F 1939 23 4 Minnie F 1746 24 5 Margaret F 1578 25 6 Ida F 1472 26 7 Alice F 1414 27 8 Bertha F 1320 28 9 Sarah F 1288 29 10 Annie F 1258 30 11 Clara F 1226 31 12 Ella F 1156 32 13 Florence F 1063 33 14 Cora F 1045 34 15 Martha F 1040 35 16 Laura F 1012 36 17 Nellie F 995 37 18 Grace F 982 38 19 Carrie F 949 39 20 Maude F 858 40 21 Mabel F 808 41 22 Bessie F 796 42 23 Jennie F 793 43 24 Gertrude F 787 44 25 Julia F 783 45 26 Hattie F 769 46 27 Edith F 768 47 28 Mattie F 704 48 29 Rose F 700 49 ... ... .. ... 50 1970 Philo M 5 51 1971 Phineas M 5 52 1972 Presley M 5 53 1973 Ransom M 5 54 1974 Reece M 5 55 1975 Rene M 5 56 1976 Roswell M 5 57 1977 Rowland M 5 58 1978 Sampson M 5 59 1979 Samual M 5 60 1980 Santos M 5 61 1981 Schuyler M 5 62 1982 Sheppard M 5 63 1983 Spurgeon M 5 64 1984 Starling M 5 65 1985 Sylvanus M 5 66 1986 Theadore M 5 67 1987 Theophile M 5 68 1988 Tilmon M 5 69 1989 Tommy M 5 70 1990 Unknown M 5 71 1991 Vann M 5 72 1992 Wes M 5 73 1993 Winston M 5 74 1994 Wood M 5 75 1995 Woodie M 5 76 1996 Worthy M 5 77 1997 Wright M 5 78 1998 York M 5 79 1999 Zachariah M 5 80 81 [2000 rows x 3 columns]
用number列的sex分组小计表示该年度的number总计。
1 In [4]: names1880.groupby('sex').number.sum() 2 Out[4]: 3 sex 4 F 90992 5 M 110491 6 Name: number, dtype: int64
将所有数据组装到一个DataFrame里面，并加上一个year字段。使用pandas.concat即可达到这个目的。
注意：第一，concat默认是按行将多个DataFrame组合到一起的；第二，必须指定ignore_index=True，因为我们不希望保留read_csv所返回的原始行号。
1 In [5]: years = range(1880, 2017) 2 3 In [6]: pieces = [] 4 5 In [7]: columns = ['name', 'sex', 'number'] 6 7 In [8]: for year in years: 8 ...: path = 'C:/Users/I******/Desktop/.../names/yob%d.txt' % year 9 ...: frame = pd.read_csv(path, names=columns) 10 ...: frame['year'] = year 11 ...: pieces.append(frame) 12 ...: 13 14 In [9]: names = pd.concat(pieces, ignore_index=True) 15 16 In [10]: names 17 Out[10]: 18 name sex number year 19 0 Mary F 7065 1880 20 1 Anna F 2604 1880 21 2 Emma F 2003 1880 22 3 Elizabeth F 1939 1880 23 4 Minnie F 1746 1880 24 5 Margaret F 1578 1880 25 6 Ida F 1472 1880 26 7 Alice F 1414 1880 27 8 Bertha F 1320 1880 28 9 Sarah F 1288 1880 29 10 Annie F 1258 1880 30 11 Clara F 1226 1880 31 12 Ella F 1156 1880 32 13 Florence F 1063 1880 33 14 Cora F 1045 1880 34 15 Martha F 1040 1880 35 16 Laura F 1012 1880 36 17 Nellie F 995 1880 37 18 Grace F 982 1880 38 19 Carrie F 949 1880 39 20 Maude F 858 1880 40 21 Mabel F 808 1880 41 22 Bessie F 796 1880 42 23 Jennie F 793 1880 43 24 Gertrude F 787 1880 44 25 Julia F 783 1880 45 26 Hattie F 769 1880 46 27 Edith F 768 1880 47 28 Mattie F 704 1880 48 29 Rose F 700 1880 49 ... ... .. ... ... 50 1891864 Zariyan M 5 2016 51 1891865 Zarren M 5 2016 52 1891866 Zaryn M 5 2016 53 1891867 Zaxon M 5 2016 54 1891868 Zaxtyn M 5 2016 55 1891869 Zaye M 5 2016 56 1891870 Zaymar M 5 2016 57 1891871 Zaymir M 5 2016 58 1891872 Zaynn M 5 2016 59 1891873 Zayshaun M 5 2016 60 1891874 Zedric M 5 2016 61 1891875 Zekariah M 5 2016 62 1891876 Zelan M 5 2016 63 1891877 Zephen M 5 2016 64 1891878 Zephyrus M 5 2016 65 1891879 Zeric M 5 2016 66 1891880 Zerin M 5 2016 67 1891881 Zethan M 5 2016 68 1891882 Zihao M 5 2016 69 1891883 Zimo M 5 2016 70 1891884 Zinn M 5 2016 71 1891885 Zirui M 5 2016 72 1891886 Ziya M 5 2016 73 1891887 Ziyang M 5 2016 74 1891888 Zoel M 5 2016 75 1891889 Zolton M 5 2016 76 1891890 Zurich M 5 2016 77 1891891 Zyahir M 5 2016 78 1891892 Zyel M 5 2016 79 1891893 Zylyn M 5 2016 80 81 [1891894 rows x 4 columns]
按年份、性别计数。
1 In [11]: total_number = names.pivot_table('number', index='year', columns='sex', aggfunc=sum) 2 3 In [12]: total_number.tail() 4 Out[12]: 5 sex F M 6 year 7 2012 1756347 1892094 8 2013 1749061 1885683 9 2014 1779496 1913434 10 2015 1776538 1907211 11 2016 1756647 1880674
作图。
1 In [13]: total_number.plot(title='Total number by sex and year')
插入一个prop列，用于存放指定名字的婴儿数相对于总出生数的比例。
1 In [14]: def add_prop(group): 2 ....: number = group.number.astype(float) 3 ....: group['prop'] = number / number.sum() 4 ....: return group 5 ....: 6 7 In [15]: names = names.groupby(['year', 'sex']).apply(add_prop) 8 9 In [16]: names 10 Out[16]: 11 name sex number year prop 12 0 Mary F 7065 1880 0.077644 13 1 Anna F 2604 1880 0.028618 14 2 Emma F 2003 1880 0.022013 15 3 Elizabeth F 1939 1880 0.021310 16 4 Minnie F 1746 1880 0.019189 17 5 Margaret F 1578 1880 0.017342 18 6 Ida F 1472 1880 0.016177 19 7 Alice F 1414 1880 0.015540 20 8 Bertha F 1320 1880 0.014507 21 9 Sarah F 1288 1880 0.014155 22 10 Annie F 1258 1880 0.013825 23 11 Clara F 1226 1880 0.013474 24 12 Ella F 1156 1880 0.012704 25 13 Florence F 1063 1880 0.011682 26 14 Cora F 1045 1880 0.011485 27 15 Martha F 1040 1880 0.011430 28 16 Laura F 1012 1880 0.011122 29 17 Nellie F 995 1880 0.010935 30 18 Grace F 982 1880 0.010792 31 19 Carrie F 949 1880 0.010429 32 20 Maude F 858 1880 0.009429 33 21 Mabel F 808 1880 0.008880 34 22 Bessie F 796 1880 0.008748 35 23 Jennie F 793 1880 0.008715 36 24 Gertrude F 787 1880 0.008649 37 25 Julia F 783 1880 0.008605 38 26 Hattie F 769 1880 0.008451 39 27 Edith F 768 1880 0.008440 40 28 Mattie F 704 1880 0.007737 41 29 Rose F 700 1880 0.007693 42 ... ... .. ... ... ... 43 1891864 Zariyan M 5 2016 0.000003 44 1891865 Zarren M 5 2016 0.000003 45 1891866 Zaryn M 5 2016 0.000003 46 1891867 Zaxon M 5 2016 0.000003 47 1891868 Zaxtyn M 5 2016 0.000003 48 1891869 Zaye M 5 2016 0.000003 49 1891870 Zaymar M 5 2016 0.000003 50 1891871 Zaymir M 5 2016 0.000003 51 1891872 Zaynn M 5 2016 0.000003 52 1891873 Zayshaun M 5 2016 0.000003 53 1891874 Zedric M 5 2016 0.000003 54 1891875 Zekariah M 5 2016 0.000003 55 1891876 Zelan M 5 2016 0.000003 56 1891877 Zephen M 5 2016 0.000003 57 1891878 Zephyrus M 5 2016 0.000003 58 1891879 Zeric M 5 2016 0.000003 59 1891880 Zerin M 5 2016 0.000003 60 1891881 Zethan M 5 2016 0.000003 61 1891882 Zihao M 5 2016 0.000003 62 1891883 Zimo M 5 2016 0.000003 63 1891884 Zinn M 5 2016 0.000003 64 1891885 Zirui M 5 2016 0.000003 65 1891886 Ziya M 5 2016 0.000003 66 1891887 Ziyang M 5 2016 0.000003 67 1891888 Zoel M 5 2016 0.000003 68 1891889 Zolton M 5 2016 0.000003 69 1891890 Zurich M 5 2016 0.000003 70 1891891 Zyahir M 5 2016 0.000003 71 1891892 Zyel M 5 2016 0.000003 72 1891893 Zylyn M 5 2016 0.000003 73 74 [1891894 rows x 5 columns]
注意：整数除法会向下圆整，由于number是整数，所以在计算分式时必须将分子或分母转换成浮点数。
在执行这样的分组处理时，一般都应该做一些有效性检查，比如验证所有分组的prop的总和是否为1。由于这是一个浮点型数据，所以用np.allclose来检查这个分组的总计值是否足够近似于（可能不会精确等于）1。
1 In [17]: np.allclose(names.groupby(['year', 'sex']).prop.sum(), 1) 2 Out[17]: True
为了便于实现更进一步的分析，取出该数据的一个子集：每对sex/year组合的前1000个名字。这又是一个分组操作。
1 In [18]: def get_top1000(group): 2 ....: return group.sort_values(by='number', ascending=False)[:1000] 3 ....: 4 5 In [19]: grouped = names.groupby(['year', 'sex']) 6 7 In [20: top1000 = grouped.apply(get_top1000) 8 9 In [21]: pieces = [] 10 11 In [22]: for year, group in names.groupby(['year', 'sex']): 12 ....: pieces.append(group.sort_values(by='number', ascending=False)[:1000]) 13 ....: 14 15 In [23]: top1000 = pd.concat(pieces, ignore_index=True) 16 17 In [24]: top1000 18 Out[24]: 19 name sex number year prop 20 0 Mary F 7065 1880 0.077644 21 1 Anna F 2604 1880 0.028618 22 2 Emma F 2003 1880 0.022013 23 3 Elizabeth F 1939 1880 0.021310 24 4 Minnie F 1746 1880 0.019189 25 5 Margaret F 1578 1880 0.017342 26 6 Ida F 1472 1880 0.016177 27 7 Alice F 1414 1880 0.015540 28 8 Bertha F 1320 1880 0.014507 29 9 Sarah F 1288 1880 0.014155 30 10 Annie F 1258 1880 0.013825 31 11 Clara F 1226 1880 0.013474 32 12 Ella F 1156 1880 0.012704 33 13 Florence F 1063 1880 0.011682 34 14 Cora F 1045 1880 0.011485 35 15 Martha F 1040 1880 0.011430 36 16 Laura F 1012 1880 0.011122 37 17 Nellie F 995 1880 0.010935 38 18 Grace F 982 1880 0.010792 39 19 Carrie F 949 1880 0.010429 40 20 Maude F 858 1880 0.009429 41 21 Mabel F 808 1880 0.008880 42 22 Bessie F 796 1880 0.008748 43 23 Jennie F 793 1880 0.008715 44 24 Gertrude F 787 1880 0.008649 45 25 Julia F 783 1880 0.008605 46 26 Hattie F 769 1880 0.008451 47 27 Edith F 768 1880 0.008440 48 28 Mattie F 704 1880 0.007737 49 29 Rose F 700 1880 0.007693 50 ... ... .. ... ... ... 51 273847 Keanu M 210 2016 0.000112 52 273848 Konner M 210 2016 0.000112 53 273849 Brent M 209 2016 0.000111 54 273850 Immanuel M 209 2016 0.000111 55 273851 Benicio M 208 2016 0.000111 56 273852 Ernest M 208 2016 0.000111 57 273853 Merrick M 208 2016 0.000111 58 273854 Yisroel M 208 2016 0.000111 59 273855 Lyle M 207 2016 0.000110 60 273856 Amare M 207 2016 0.000110 61 273857 Jad M 207 2016 0.000110 62 273858 Maddux M 206 2016 0.000110 63 273859 Creed M 206 2016 0.000110 64 273860 Krish M 206 2016 0.000110 65 273861 Giancarlo M 205 2016 0.000109 66 273862 Jamarion M 205 2016 0.000109 67 273863 Steve M 205 2016 0.000109 68 273864 Camilo M 205 2016 0.000109 69 273865 Anton M 204 2016 0.000108 70 273866 Jamar M 204 2016 0.000108 71 273867 Jeremias M 204 2016 0.000108 72 273868 Ralph M 204 2016 0.000108 73 273869 Wesson M 204 2016 0.000108 74 273870 Brenden M 203 2016 0.000108 75 273871 Eliezer M 203 2016 0.000108 76 273872 Braeden M 203 2016 0.000108 77 273873 Bode M 203 2016 0.000108 78 273874 Davian M 202 2016 0.000107 79 273875 Gus M 202 2016 0.000107 80 273876 Jonathon M 202 2016 0.000107 81 82 [273877 rows x 5 columns]
分析命名趋势。
首先将前1000个名字分为男女两个部分。
1 In [25]: boys = top1000[top1000.sex == 'M'] 2 3 In [26]: girls = top1000[top1000.sex == 'F']
生成一张按year和name统计的总出生数透视表。
1 In [27]: total_number = top1000.pivot_table('number', index='year', columns='name', aggfunc=sum) 2 3 In [28]: total_number 4 Out[28]: 5 name Aaden Aadhya Aaliyah Aanya Aarav Aaron Aarush Ab Abagail \ 6 year 7 1880 NaN NaN NaN NaN NaN 102.0 NaN NaN NaN 8 1881 NaN NaN NaN NaN NaN 94.0 NaN NaN NaN 9 1882 NaN NaN NaN NaN NaN 85.0 NaN NaN NaN 10 1883 NaN NaN NaN NaN NaN 105.0 NaN NaN NaN 11 1884 NaN NaN NaN NaN NaN 97.0 NaN NaN NaN 12 1885 NaN NaN NaN NaN NaN 88.0 NaN 6.0 NaN 13 1886 NaN NaN NaN NaN NaN 86.0 NaN NaN NaN 14 1887 NaN NaN NaN NaN NaN 78.0 NaN NaN NaN 15 1888 NaN NaN NaN NaN NaN 90.0 NaN NaN NaN 16 1889 NaN NaN NaN NaN NaN 85.0 NaN NaN NaN 17 1890 NaN NaN NaN NaN NaN 96.0 NaN NaN NaN 18 1891 NaN NaN NaN NaN NaN 69.0 NaN NaN NaN 19 1892 NaN NaN NaN NaN NaN 95.0 NaN NaN NaN 20 1893 NaN NaN NaN NaN NaN 81.0 NaN NaN NaN 21 1894 NaN NaN NaN NaN NaN 79.0 NaN NaN NaN 22 1895 NaN NaN NaN NaN NaN 94.0 NaN NaN NaN 23 1896 NaN NaN NaN NaN NaN 69.0 NaN NaN NaN 24 1897 NaN NaN NaN NaN NaN 87.0 NaN NaN NaN 25 1898 NaN NaN NaN NaN NaN 89.0 NaN NaN NaN 26 1899 NaN NaN NaN NaN NaN 71.0 NaN NaN NaN 27 1900 NaN NaN NaN NaN NaN 103.0 NaN NaN NaN 28 1901 NaN NaN NaN NaN NaN 80.0 NaN NaN NaN 29 1902 NaN NaN NaN NaN NaN 78.0 NaN NaN NaN 30 1903 NaN NaN NaN NaN NaN 93.0 NaN NaN NaN 31 1904 NaN NaN NaN NaN NaN 117.0 NaN NaN NaN 32 1905 NaN NaN NaN NaN NaN 96.0 NaN NaN NaN 33 1906 NaN NaN NaN NaN NaN 96.0 NaN NaN NaN 34 1907 NaN NaN NaN NaN NaN 130.0 NaN NaN NaN 35 1908 NaN NaN NaN NaN NaN 114.0 NaN NaN NaN 36 1909 NaN NaN NaN NaN NaN 142.0 NaN NaN NaN 37 ... ... ... ... ... ... ... ... ... ... 38 1987 NaN NaN NaN NaN NaN 12682.0 NaN NaN NaN 39 1988 NaN NaN NaN NaN NaN 14404.0 NaN NaN NaN 40 1989 NaN NaN NaN NaN NaN 15312.0 NaN NaN NaN 41 1990 NaN NaN NaN NaN NaN 14550.0 NaN NaN NaN 42 1991 NaN NaN NaN NaN NaN 14241.0 NaN NaN NaN 43 1992 NaN NaN NaN NaN NaN 14506.0 NaN NaN NaN 44 1993 NaN NaN NaN NaN NaN 13827.0 NaN NaN NaN 45 1994 NaN NaN 1451.0 NaN NaN 14381.0 NaN NaN NaN 46 1995 NaN NaN 1255.0 NaN NaN 13287.0 NaN NaN NaN 47 1996 NaN NaN 831.0 NaN NaN 11969.0 NaN NaN NaN 48 1997 NaN NaN 1738.0 NaN NaN 11165.0 NaN NaN NaN 49 1998 NaN NaN 1399.0 NaN NaN 10547.0 NaN NaN NaN 50 1999 NaN NaN 1088.0 NaN NaN 9853.0 NaN NaN 211.0 51 2000 NaN NaN 1496.0 NaN NaN 9551.0 NaN NaN 222.0 52 2001 NaN NaN 3352.0 NaN NaN 9534.0 NaN NaN 244.0 53 2002 NaN NaN 4778.0 NaN NaN 9001.0 NaN NaN 256.0 54 2003 NaN NaN 3671.0 NaN NaN 8862.0 NaN NaN 276.0 55 2004 NaN NaN 3488.0 NaN NaN 8388.0 NaN NaN 258.0 56 2005 NaN NaN 3456.0 NaN NaN 7800.0 NaN NaN 288.0 57 2006 NaN NaN 3743.0 NaN NaN 8294.0 NaN NaN 298.0 58 2007 NaN NaN 3955.0 NaN NaN 8933.0 NaN NaN 313.0 59 2008 956.0 NaN 4038.0 NaN 219.0 8536.0 NaN NaN 321.0 60 2009 1267.0 NaN 4367.0 NaN 270.0 7967.0 NaN NaN 297.0 61 2010 450.0 NaN 4661.0 NaN 438.0 7461.0 227.0 NaN 281.0 62 2011 275.0 NaN 5112.0 NaN 436.0 7613.0 NaN NaN NaN 63 2012 223.0 NaN 5502.0 NaN 435.0 7522.0 NaN NaN NaN 64 2013 203.0 NaN 5225.0 NaN 495.0 7297.0 NaN NaN NaN 65 2014 237.0 NaN 4875.0 266.0 531.0 7383.0 NaN NaN NaN 66 2015 297.0 NaN 4850.0 NaN 539.0 7144.0 211.0 NaN NaN 67 2016 NaN 284.0 4611.0 NaN 519.0 7118.0 NaN NaN NaN 68 69 name Abb ... Zoe Zoey Zoie Zola Zollie Zona Zora Zula \ 70 year ... 71 1880 NaN ... 23.0 NaN NaN 7.0 NaN 8.0 28.0 27.0 72 1881 NaN ... 22.0 NaN NaN 10.0 NaN 9.0 21.0 27.0 73 1882 NaN ... 25.0 NaN NaN 9.0 NaN 17.0 32.0 21.0 74 1883 NaN ... 23.0 NaN NaN 10.0 NaN 11.0 35.0 25.0 75 1884 NaN ... 31.0 NaN NaN 14.0 6.0 8.0 58.0 27.0 76 1885 NaN ... 27.0 NaN NaN 12.0 6.0 14.0 48.0 38.0 77 1886 NaN ... 25.0 NaN NaN 8.0 NaN 20.0 52.0 43.0 78 1887 NaN ... 34.0 NaN NaN 23.0 NaN 28.0 46.0 33.0 79 1888 NaN ... 42.0 NaN NaN 23.0 7.0 30.0 42.0 45.0 80 1889 NaN ... 29.0 NaN NaN 22.0 NaN 29.0 53.0 55.0 81 1890 6.0 ... 42.0 NaN NaN 32.0 7.0 27.0 60.0 65.0 82 1891 NaN ... 34.0 NaN NaN 29.0 6.0 14.0 52.0 45.0 83 1892 NaN ... 34.0 NaN NaN 27.0 NaN 25.0 66.0 53.0 84 1893 NaN ... 23.0 NaN NaN 34.0 6.0 15.0 67.0 70.0 85 1894 NaN ... 28.0 NaN NaN 51.0 NaN 23.0 66.0 64.0 86 1895 NaN ... 34.0 NaN NaN 60.0 11.0 38.0 55.0 55.0 87 1896 NaN ... 36.0 NaN NaN 47.0 NaN 38.0 72.0 65.0 88 1897 NaN ... 35.0 NaN NaN 51.0 NaN 28.0 67.0 79.0 89 1898 NaN ... 30.0 NaN NaN 62.0 NaN 28.0 65.0 83.0 90 1899 NaN ... 27.0 NaN NaN 49.0 6.0 31.0 56.0 60.0 91 1900 NaN ... 26.0 NaN NaN 48.0 9.0 44.0 99.0 71.0 92 1901 NaN ... 26.0 NaN NaN 56.0 NaN 31.0 58.0 57.0 93 1902 NaN ... 34.0 NaN NaN 58.0 NaN 23.0 58.0 66.0 94 1903 NaN ... 19.0 NaN NaN 64.0 NaN 41.0 83.0 74.0 95 1904 NaN ... 27.0 NaN NaN 46.0 NaN 35.0 54.0 74.0 96 1905 NaN ... 24.0 NaN NaN 66.0 8.0 24.0 55.0 61.0 97 1906 NaN ... 19.0 NaN NaN 59.0 NaN 37.0 64.0 58.0 98 1907 NaN ... 19.0 NaN NaN 53.0 11.0 39.0 92.0 72.0 99 1908 NaN ... 23.0 NaN NaN 70.0 NaN 31.0 59.0 53.0 100 1909 NaN ... 22.0 NaN NaN 59.0 NaN 39.0 57.0 76.0 101 ... ... ... ... ... ... ... ... ... ... ... 102 1987 NaN ... 247.0 NaN NaN NaN NaN NaN NaN NaN 103 1988 NaN ... 241.0 NaN NaN NaN NaN NaN NaN NaN 104 1989 NaN ... 376.0 NaN NaN NaN NaN NaN NaN NaN 105 1990 NaN ... 478.0 NaN NaN NaN NaN NaN NaN NaN 106 1991 NaN ... 722.0 NaN NaN NaN NaN NaN NaN NaN 107 1992 NaN ... 981.0 NaN NaN NaN NaN NaN NaN NaN 108 1993 NaN ... 1193.0 NaN NaN NaN NaN NaN NaN NaN 109 1994 NaN ... 1333.0 NaN NaN NaN NaN NaN NaN NaN 110 1995 NaN ... 1726.0 219.0 NaN NaN NaN NaN NaN NaN 111 1996 NaN ... 2065.0 339.0 NaN NaN NaN NaN NaN NaN 112 1997 NaN ... 2362.0 407.0 NaN NaN NaN NaN NaN NaN 113 1998 NaN ... 2693.0 478.0 225.0 NaN NaN NaN NaN NaN 114 1999 NaN ... 3236.0 563.0 257.0 NaN NaN NaN NaN NaN 115 2000 NaN ... 3785.0 691.0 320.0 NaN NaN NaN NaN NaN 116 2001 NaN ... 4644.0 822.0 439.0 NaN NaN NaN NaN NaN 117 2002 NaN ... 4886.0 1182.0 438.0 NaN NaN NaN NaN NaN 118 2003 NaN ... 5085.0 1469.0 449.0 NaN NaN NaN NaN NaN 119 2004 NaN ... 5363.0 1622.0 515.0 NaN NaN NaN NaN NaN 120 2005 NaN ... 4958.0 2273.0 502.0 NaN NaN NaN NaN NaN 121 2006 NaN ... 5152.0 2849.0 531.0 NaN NaN NaN NaN NaN 122 2007 NaN ... 4933.0 3032.0 527.0 NaN NaN NaN NaN NaN 123 2008 NaN ... 4781.0 3445.0 493.0 NaN NaN NaN NaN NaN 124 2009 NaN ... 5144.0 3993.0 499.0 NaN NaN NaN NaN NaN 125 2010 NaN ... 6264.0 5203.0 508.0 NaN NaN NaN NaN NaN 126 2011 NaN ... 6299.0 6397.0 523.0 NaN NaN NaN NaN NaN 127 2012 NaN ... 6451.0 7462.0 516.0 NaN NaN NaN NaN NaN 128 2013 NaN ... 5969.0 7230.0 431.0 NaN NaN NaN NaN NaN 129 2014 NaN ... 5866.0 7392.0 365.0 NaN NaN NaN NaN NaN 130 2015 NaN ... 6032.0 6927.0 370.0 NaN NaN NaN NaN NaN 131 2016 NaN ... 5706.0 6414.0 311.0 NaN NaN NaN NaN NaN 132 133 name Zuri Zyaire 134 year 135 1880 NaN NaN 136 1881 NaN NaN 137 1882 NaN NaN 138 1883 NaN NaN 139 1884 NaN NaN 140 1885 NaN NaN 141 1886 NaN NaN 142 1887 NaN NaN 143 1888 NaN NaN 144 1889 NaN NaN 145 1890 NaN NaN 146 1891 NaN NaN 147 1892 NaN NaN 148 1893 NaN NaN 149 1894 NaN NaN 150 1895 NaN NaN 151 1896 NaN NaN 152 1897 NaN NaN 153 1898 NaN NaN 154 1899 NaN NaN 155 1900 NaN NaN 156 1901 NaN NaN 157 1902 NaN NaN 158 1903 NaN NaN 159 1904 NaN NaN 160 1905 NaN NaN 161 1906 NaN NaN 162 1907 NaN NaN 163 1908 NaN NaN 164 1909 NaN NaN 165 ... ... ... 166 1987 NaN NaN 167 1988 NaN NaN 168 1989 NaN NaN 169 1990 NaN NaN 170 1991 NaN NaN 171 1992 NaN NaN 172 1993 NaN NaN 173 1994 NaN NaN 174 1995 NaN NaN 175 1996 NaN NaN 176 1997 NaN NaN 177 1998 NaN NaN 178 1999 NaN NaN 179 2000 NaN NaN 180 2001 NaN NaN 181 2002 NaN NaN 182 2003 NaN NaN 183 2004 NaN NaN 184 2005 NaN NaN 185 2006 NaN NaN 186 2007 NaN NaN 187 2008 NaN NaN 188 2009 NaN NaN 189 2010 259.0 NaN 190 2011 313.0 NaN 191 2012 435.0 NaN 192 2013 567.0 NaN 193 2014 666.0 NaN 194 2015 712.0 NaN 195 2016 884.0 245.0 196 197 [137 rows x 7100 columns]
取出John、Harry、Mary和Marilyn这四个名字作为子集，并作图。
1 In [29]: subset = total_number[['John', 'Harry', 'Mary', 'Marilyn']] 2 3 In [30]: subset.plot(subplots=True, figsize=(12, 10), grid=False, title="Number of births per year")
评估命名多样性的增长
验证父母愿意给小孩起常见的名字越来越少：
一、计算最流行的1000个名字所占的比例，按year和sex进行聚合并绘图。
1 In [31]: table = top1000.pivot_table('prop', index='year', columns='sex', aggfunc=sum) 2 3 In [32]: table.plot(title='Sum of table1000.prop by year and sex', yticks=np.linspace(0, 1.2, 13), xticks=range(1880, 2020, 10))
前1000项的比例降低，说明名字的多样性确实出现了增长。
二、计算占总出生人数前50%的不同名字的数量，暂且只考虑2010年男孩的名字。
1 In [33]: df = boys[boys.year == 2010] 2 3 In [34]: df 4 Out[34]: 5 name sex number year prop 6 260877 Jacob M 22110 2010 0.011544 7 260878 Ethan M 17995 2010 0.009395 8 260879 Michael M 17336 2010 0.009051 9 260880 Jayden M 17163 2010 0.008961 10 260881 William M 17042 2010 0.008898 11 260882 Alexander M 16749 2010 0.008745 12 260883 Noah M 16442 2010 0.008584 13 260884 Daniel M 15827 2010 0.008263 14 260885 Aiden M 15531 2010 0.008109 15 260886 Anthony M 15482 2010 0.008083 16 260887 Joshua M 15432 2010 0.008057 17 260888 Mason M 14837 2010 0.007746 18 260889 Christopher M 14263 2010 0.007447 19 260890 Andrew M 14234 2010 0.007432 20 260891 David M 14181 2010 0.007404 21 260892 Matthew M 14119 2010 0.007372 22 260893 Logan M 14015 2010 0.007317 23 260894 Elijah M 13879 2010 0.007246 24 260895 James M 13870 2010 0.007242 25 260896 Joseph M 13816 2010 0.007213 26 260897 Gabriel M 12865 2010 0.006717 27 260898 Benjamin M 12427 2010 0.006488 28 260899 Ryan M 11967 2010 0.006248 29 260900 Samuel M 11954 2010 0.006241 30 260901 Jackson M 11813 2010 0.006168 31 260902 John M 11550 2010 0.006030 32 260903 Nathan M 11368 2010 0.005935 33 260904 Jonathan M 11116 2010 0.005804 34 260905 Christian M 11090 2010 0.005790 35 260906 Liam M 10927 2010 0.005705 36 ... ... .. ... ... ... 37 261847 Ronaldo M 203 2010 0.000106 38 261848 Yair M 203 2010 0.000106 39 261849 Lathan M 203 2010 0.000106 40 261850 Gibson M 202 2010 0.000105 41 261851 Keyon M 202 2010 0.000105 42 261852 Reagan M 202 2010 0.000105 43 261853 Daylen M 201 2010 0.000105 44 261854 Kingsley M 201 2010 0.000105 45 261855 Talan M 201 2010 0.000105 46 261856 Yehuda M 201 2010 0.000105 47 261857 Jordon M 200 2010 0.000104 48 261858 Slade M 200 2010 0.000104 49 261859 Sheldon M 200 2010 0.000104 50 261860 Dashawn M 200 2010 0.000104 51 261861 Cristofer M 200 2010 0.000104 52 261862 Clarence M 199 2010 0.000104 53 261863 Dillan M 199 2010 0.000104 54 261864 Kadin M 199 2010 0.000104 55 261865 Masen M 199 2010 0.000104 56 261866 Rowen M 199 2010 0.000104 57 261867 Clinton M 198 2010 0.000103 58 261868 Thaddeus M 198 2010 0.000103 59 261869 Yousef M 198 2010 0.000103 60 261870 Truman M 197 2010 0.000103 61 261871 Joziah M 196 2010 0.000102 62 261872 Simeon M 196 2010 0.000102 63 261873 Reuben M 196 2010 0.000102 64 261874 Keshawn M 196 2010 0.000102 65 261875 Eliezer M 196 2010 0.000102 66 261876 Enoch M 196 2010 0.000102 67 68 [1000 rows x 5 columns]
先计算prop的累积和cumsum，然后再通过searchsorted方法找出0.5应该被插入在哪个位置才能保证不破坏顺序。
1 In [35]: prop_cumsum = df.sort_values(by='prop', ascending=False).prop.cumsum() 2 3 In [36]: prop_cumsum[:10] 4 Out[36]: 5 260877 0.011544 6 260878 0.020939 7 260879 0.029990 8 260880 0.038951 9 260881 0.047849 10 260882 0.056593 11 260883 0.065178 12 260884 0.073441 13 260885 0.081550 14 260886 0.089633 15 Name: prop, dtype: float64 16 17 In [37]: prop_cumsum.searchsorted(0.5) 18 Out[37]: array([116], dtype=int64)
由于数组索引从0开始，因此要给结果+1，即最终结果为117。而1900年的25则要小得多。
1 In [38]: df = boys[boys.year == 1900] 2 3 In [39]: in1900 = df.sort_values(by='prop', ascending=False).prop.cumsum() 4 5 In [40]: in1900.searchsorted(0.5) + 1 6 Out[40]: array([25], dtype=int64)
Error
1 In [41]: def get_quantile_count(group, q=0.5): 2 ....: group = group.sort_values(by='prop', ascending=False) 3 ....: return group.prop.cumsum().searchsorted(q) + 1 4 ....: 5 6 In [42]: diversity = top1000.groupby(['year','sex']).apply(get_quantile_count) 7 8 In [43]: diversity = diversity.unstack('sex') 9 10 In [44]: diversity.head() 11 Out[44]: 12 sex F M 13 year 14 1880 [38] [14] 15 1881 [38] [14] 16 1882 [38] [15] 17 1883 [39] [15] 18 1884 [39] [16] 19 20 In [45]: diversity.plot(title="Number of popular names in top50%") 21 --------------------------------------------------------------------------- 22 TypeError Traceback (most recent call last) 23 <ipython-input-40-d380f36f6920> in <module>() 24 ----> 1 diversity.plot(title="Number of popular names in top50%") 25 26 C:\Users\I******\AppData\Local\Enthought\Canopy\App\appdata\canopy-2.1.3.3542.win-x86_64\lib\site-packages\pandas-0.20.3-py2.7-win-amd64.egg\pandas\plotting\_core.pyc in __call__(self, x, y, kind, ax, subplots, sharex, sharey, layout, figsize, use_index, title, grid, legend, style, logx, logy, loglog, xticks, yticks, xlim, ylim, rot, fontsize, colormap, table, yerr, xerr, secondary_y, sort_columns, **kwds) 27 2625 fontsize=fontsize, colormap=colormap, table=table, 28 2626 yerr=yerr, xerr=xerr, secondary_y=secondary_y, 29 -> 2627 sort_columns=sort_columns, **kwds) 30 2628 __call__.__doc__ = plot_frame.__doc__ 31 2629 32 33 C:\Users\I******\AppData\Local\Enthought\Canopy\App\appdata\canopy-2.1.3.3542.win-x86_64\lib\site-packages\pandas-0.20.3-py2.7-win-amd64.egg\pandas\plotting\_core.pyc in plot_frame(data, x, y, kind, ax, subplots, sharex, sharey, layout, figsize, use_index, title, grid, legend, style, logx, logy, loglog, xticks, yticks, xlim, ylim, rot, fontsize, colormap, table, yerr, xerr, secondary_y, sort_columns, **kwds) 34 1867 yerr=yerr, xerr=xerr, 35 1868 secondary_y=secondary_y, sort_columns=sort_columns, 36 -> 1869 **kwds) 37 1870 38 1871 39 40 C:\Users\I******\AppData\Local\Enthought\Canopy\App\appdata\canopy-2.1.3.3542.win-x86_64\lib\site-packages\pandas-0.20.3-py2.7-win-amd64.egg\pandas\plotting\_core.pyc in _plot(data, x, y, subplots, ax, kind, **kwds) 41 1692 plot_obj = klass(data, subplots=subplots, ax=ax, kind=kind, **kwds) 42 1693 43 -> 1694 plot_obj.generate() 44 1695 plot_obj.draw() 45 1696 return plot_obj.result 46 47 C:\Users\I******\AppData\Local\Enthought\Canopy\App\appdata\canopy-2.1.3.3542.win-x86_64\lib\site-packages\pandas-0.20.3-py2.7-win-amd64.egg\pandas\plotting\_core.pyc in generate(self) 48 241 def generate(self): 49 242 self._args_adjust() 50 --> 243 self._compute_plot_data() 51 244 self._setup_subplots() 52 245 self._make_plot() 53 54 C:\Users\I******\AppData\Local\Enthought\Canopy\App\appdata\canopy-2.1.3.3542.win-x86_64\lib\site-packages\pandas-0.20.3-py2.7-win-amd64.egg\pandas\plotting\_core.pyc in _compute_plot_data(self) 55 350 if is_empty: 56 351 raise TypeError('Empty {0!r}: no numeric data to ' 57 --> 352 'plot'.format(numeric_data.__class__.__name__)) 58 353 59 354 self.data = numeric_data 60 61 TypeError: Empty 'DataFrame': no numeric data to plot
Solution01
python3的searchsorted()返回的是ndarray类型而不是int64类型，所以需要先取[0]元素，才能获得想要的数据。
1 In [46]: def get_quantile_count(group, q=0.5): 2 ....: group = group.sort_values(by='prop', ascending=False) 3 ....: return group.prop.cumsum().searchsorted(q)[0] + 1 4 ....: 5 6 In [47]: diversity = top1000.groupby(['year', 'sex']).apply(get_quantile_count) 7 8 In [48]: diversity = diversity.unstack('sex') 9 10 In [49]: diversity.head() 11 Out[49]: 12 sex F M 13 year 14 1880 38 14 15 1881 38 14 16 1882 38 15 17 1883 39 15 18 1884 39 16 19 20 In [50]: diversity.plot(title="Number of popular names in top50%") 21 Out[50]: <matplotlib.axes._subplots.AxesSubplot at 0xcbce208>
从图中可以看出，女孩名字的多样性总是比男孩的高，而且还在变得越来越高。
最后一个字母
将全部出生数据在年度、性别以及末字母上进行聚合。
1 In [51]: get_last_letter = lambda x: x[-1] 2 3 In [52]: last_letters = names.name.map(get_last_letter) 4 5 In [53]: last_letters.name = 'last_letter' 6 7 In [54]: table = names.pivot_table('number', index=last_letters, columns=['sex', 'year'], aggfunc=sum) 8 9 In [55]: subtable = table.reindex(columns=[1916, 1966, 2016], level='year') 10 11 In [56]: subtable.head() 12 Out[56]: 13 sex F M 14 year 1916 1966 2016 1916 1966 2016 15 last_letter 16 a 272225.0 616110.0 654193.0 3509.0 4630.0 29454.0 17 b NaN 100.0 645.0 1600.0 1732.0 26812.0 18 c 5.0 145.0 1284.0 1978.0 22036.0 21912.0 19 d 19035.0 3127.0 3418.0 118335.0 209457.0 42748.0 20 e 324987.0 364405.0 324067.0 108122.0 125970.0 125222.0 21 22 In [57]: subtable.sum() 23 Out[57]: 24 sex year 25 F 1916 1044335.0 26 1966 1691964.0 27 2016 1756647.0 28 M 1916 890100.0 29 1966 1783903.0 30 2016 1880674.0 31 dtype: float64 32 33 In [58]: letter_prop = subtable / subtable.sum().astype(float)
绘图
1 In [59]: import matplotlib.pyplot as plt 2 3 In [60]: fig, axes = plt.subplots(2, 1, figsize=(10, 8))
1 In [61]: letter_prop['M'].plot(kind='bar', rot=0, ax=axes[0], title='Male') 2 Out[61]: <matplotlib.axes._subplots.AxesSubplot at 0x3924ad68> 3 4 In [62]: letter_prop['F'].plot(kind='bar', rot=0, ax=axes[1], title='Female', legend=False) 5 Out[62]: <matplotlib.axes._subplots.AxesSubplot at 0x39340438>
回到之前创建的那个完整的表，按年度和性别对其进行规范化处理，并在男孩名字中选取几个字母，最后进行转置以便将各个列做成一个时间序列。
1 In [63]: letter_prop = table / table.sum().astype(float) 2 3 In [64]: dny_ts = letter_prop.loc[['d', 'n', 'y'], 'M'].T 4 5 In [65]: dny_ts.head() 6 Out[65]: 7 last_letter d n y 8 year 9 1880 0.083057 0.153216 0.075762 10 1881 0.083242 0.153212 0.077455 11 1882 0.085332 0.149561 0.077538 12 1883 0.084051 0.151653 0.079148 13 1884 0.086121 0.149926 0.080407 14 15 In [66]: dny_ts.plot() 16 Out[66]: <matplotlib.axes._subplots.AxesSubplot at 0x3c2737b8>
变成女孩名字的男孩名字
1 In [67]: all_names = top1000.name.unique() 2 3 In [68]: mask = np.array(['lesl' in x.lower() for x in all_names]) 4 5 In [69]: lesley_like = all_names[mask] 6 7 In [70]: lesley_like 8 Out[70]: array(['Leslie', 'Lesley', 'Leslee', 'Lesli', 'Lesly'], dtype=object) 9 10 In [71]: filtered = top1000[top1000.name.isin(lesley_like)] 11 12 In [72]: filtered.groupby('name').number.sum() 13 Out[72]: 14 name 15 Leslee 993 16 Lesley 35032 17 Lesli 929 18 Leslie 376857 19 Lesly 11432 20 Name: number, dtype: int64 21 22 In [73]: table = filtered.pivot_table('number', index='year', columns='sex', aggfunc='sum') 23 24 In [74]: table = table.div(table.sum(1), axis=0) 25 26 In [75]: table.tail() 27 Out[75]: 28 sex F M 29 year 30 2012 1.0 NaN 31 2013 1.0 NaN 32 2014 1.0 NaN 33 2015 1.0 NaN 34 2016 1.0 NaN 35 36 In [76]: table.plot(style={'M': 'k-', 'F': 'k--'}) 37 Out[76]: <matplotlib.axes._subplots.AxesSubplot at 0x3b1e2a58>
Reference
01 http://blog.csdn.net/u010456562/article/details/51346594
