数据爬取后台（PHP+Python）联合作战
一. 项目声明
本项目从前端，到后台，以及分布式数据抓取，乃我一个人所写，因此项目并不太完善！在语义分析以及数据处理上并不能尽如意。但是极大的减轻了编辑的工作量！
二. 项目所用技术
本项目中前端采用bootstrap栅格系统布局，后台服务端语言采用PHP，数据抓取所用Python完成 （scrapy/requests/BeautifulSoup/threading/selenium/jieba）
三. 项目说明
1.拿到对应的关键词 -〉从百度知道 找出 对应的问题;
2.得到对应的问题 -〉搜全网，排名前10篇的文章（过滤掉百度知道的文章正文，通过特征库过滤一些官网与专题页面等）
3.得到的对应正文 -〉将得到的文章，进行去头，去尾。随机拼接！
4.数据处理-〉用遗忘算法，对处理数据进行筛选，过滤品牌词！ （目前暂未完善，避免误删除，导致文本不通顺，目前只是标红，训练该特征模型）
5.本项目基于多线程！可扩展成多进程（因为不考虑效率，加之本机电脑配置较低，所以采用的是单进程下的多线程！）
四. 项目仍需完善之处
1.文本语义不通顺，不能完全机器识别运用（任然需要人工审核），特征库不完善。
2.过滤品牌词，仍然存在有一些特殊的品牌词过滤不掉的问题
3.没有实现无监督学习，对自然语言分析（NLP）任然不熟悉！导致这些问题，无法解决！
五.该项目需要准备
1.IP代理池来源于（免费IP提供商）
2.下载github开源的分词库（jieba）
3.采用selenium抓取，充分模拟浏览器行为，因此要有一个无头浏览器作为工具
六.项目截图：
七.结言：
本项目仍处于开发阶段，希望各位自然语言处理的大佬，能给予一些数据清洗方面的帮助！感激不尽！
公司项目，暂不提供源码... 仅探讨思路！
联系Email：rianleycheng@gmail.com
联系QQ：2855132411
