python+mysql
摘要:
抛出问题:处理互联网大量数据,用SQL数据库还是noSql数据库比较好?今天实习上班,看到前天下班前一小时跑的每插入一条从一个39W的IP数据库查询属于哪个地区,再插入。总数据94W。太慢。性能分析,找出瓶颈:test 1: python+mysql (单条插入,不是块插入) insert 21039 条数据,耗时0:04:40.790000 join query 与一个表长39W的表join。耗时15min56.61sectest 2: python+mysql 块插入 每次够50条就插入。 s... 阅读全文