摘要：
以下payload仅作整理记录，可以通过修改代码，改为带回显的自己的payload s2-005: ('\43_memberAccess.allowStaticMethodAccess')(a)=true&(b)(('\43context[\'xwork.MethodAccessor.denyMet 阅读全文
摘要：
scrapy： 十分强大的爬虫模块，爬虫spiders须指定一个start_urls作为起始的任务，使用Rule(xpath,css)解析到新的任务，将需要的数据按照item结构，通过pipelines存储到指定的地方 合理使用下载中间件downloadermiddleware的内置中间件，或者编写 阅读全文
摘要：
由于redis是将数据在内存中运行处理的，所以硬件配置上需要足够的内存支持 Can’t save in background: fork: Cannot allocate memory： 修改内核参数vm.overcommit_memory = 1 Redis每隔几分钟或者多少个操作后会将数据在磁盘 阅读全文
摘要：
scrapy 本身不能作为js engine 可以利用splash项目动态解析js： 使用docker启动scrapinghub/splash项目并且监听8050端口， 命令如下： docker run -p 8050:8050 scrapinghub/splash POST参数{"url": ur 阅读全文
摘要：
scrapy中内置了许多不错的下载中间件，可以按照需求合理使用在爬虫中，很简单 也可以自己编写，其中有方法process_request，process_response，process_exception可以在请求前，请求后与抛出异常时做处理 例如在请求前过滤url，加入黑名单，判断请求返回是否满 阅读全文
摘要：
这篇文章http://blog.csdn.net/Bone_ACE/article/details/50989104中的描述十分详细明了，所以直接引用，仅作记录： 策略一： Slaver端从Master端拿任务（Request/url/ID）进行数据抓取，在抓取数据的同时也生成新任务，并将任务抛给M 阅读全文
摘要：
scrapy-redis使用的爬虫策略： Slaver端从Master端拿任务进行数据抓取，在抓取数据的同时也生成新任务，并将任务抛给Master。Master端负责对Slaver提交的任务进行去重、加入待爬队列。 scrapy-redis在处理分布式时，会在redis中创建两个key，一个是(sp 阅读全文
摘要：
在项目中要用到ajax长轮询，但是在django中使用长轮询会出现崩溃现象(django==1.8.4)，所以考虑到websocket，正好有一个开源项目dwebsocket 在代码中引入dwebsocket后，一个request.websocket为一个client，用send方法即可向clien 阅读全文
摘要：
django的admin后台管理功能很强大，但是在其基础上添加一些响应事件该怎么处理，例如添加一个按键实现自己项目的启动与停止控制 其实有一个很简单的办法，比如后台列表页面url是/admin/a/b/，那么在自己项目的templates下面建/admin/a/b/change_list.html， 阅读全文