java小萌新(づ￣3￣)

eclips的一些快捷设置

摘要： 1.选择Eclipse菜单条中的Windows菜单下的Preferences项 2.在左侧找到“Java” -> “Editor” -> “Content Assist” 3.在右侧“Auto Activation”项目下找到“Auto activation triggers for Java:”（阅读全文

posted @ 2018-11-25 18:05 java小萌新(づ￣3￣) 阅读(190) 评论(0) 推荐(0) 编辑

eclips配色

摘要：捣鼓了半天终于满意了。。成品: Start Demo：↓ 1. 先完成项目组和边框的配色配前效果： ↓ （God！这软件界面颜色简直无法直视啊！！！晃瞎了钛合金刚眼！！！holy shit！！）配后效果： ↓ （没上面那个看起来这么恶心了） 1.1.首先先准备好Eclipse软件（版本4.2以上阅读全文

posted @ 2018-11-25 17:28 java小萌新(づ￣3￣) 阅读(329) 评论(0) 推荐(0) 编辑

pandas

摘要： 1. pandas数据结构： series：数组与标签，可以通过标签选取数据，定长的有序字典 Dataframe：表格型数据结构，行索引、列索引阅读全文

posted @ 2018-02-25 23:02 java小萌新(づ￣3￣) 阅读(303) 评论(0) 推荐(0) 编辑

scrapy爬取知乎users

摘要：一分析网页 1. 可以发现在这个data下面储存了所以关注信息列表，是需要抓取的数据 2.触碰用户名称可以触动ajex请求 3。点进用户，发现其连接为：即url_token 和user_type相加即可到达页面。所以构建第二个爬虫时，爬取这个页面，用户的基本信息。以上在处理主页的时候，触碰目阅读全文

posted @ 2018-02-10 23:01 java小萌新(づ￣3￣) 阅读(106) 评论(0) 推荐(0) 编辑

redis

摘要： window下安装redis报错： creating server tcp listening socket 127.0.0.1:6379: bind No error 的解决方案如下按顺序输入如下命令就可以连接成功 1. redis-cli.exe2. shutdown3. exit4. redi 阅读全文

posted @ 2018-02-03 17:06 java小萌新(づ￣3￣) 阅读(75) 评论(0) 推荐(0) 编辑

代理池redis+flask

摘要： # 写了淘宝抓取所有手机信息的代码，有时间发~ 过滤器：用从internet中获取的ip或代理，去登录百度之类的网址，看是否能登录，从而过滤掉无用的代理队列：过滤器后得到的有用的代理，放里面。定时检测：防止代理队列里面有失效的代理 API: 需要实现一个接口，通过这个接口实现从代理队列中拿出代阅读全文

posted @ 2018-02-02 22:48 java小萌新(づ￣3￣) 阅读(147) 评论(0) 推荐(0) 编辑

今日头条抓取街拍图片数据集

摘要： spider1：抓取街拍页面的所有入口链接： 1.数据查看到，街拍页面需要的数据集都在data这个集合中，而data是整个数据集字典的一个键，data这个键又包括了一个list，list中是一个个字典。 2. list中包括了是图集的，以及是单个图片显示内容的。 3. 对比list中的数据集，可以阅读全文

posted @ 2018-02-01 23:31 java小萌新(づ￣3￣) 阅读(1853) 评论(0) 推荐(0) 编辑

几个星期不更新，(～￣▽￣)～ BeautifulSoup and pyquery

摘要： 1.beautifulsoup，平时对css样式使用比较多。对于select选择器： . = class，# = id，选择全部就不需要 > 了。 find_all(name,attrs..) 也可以多用用还有本身自带的标签选择。 2接下来是Pyquery 3.selenium库在开始sel 阅读全文

posted @ 2018-01-26 22:03 java小萌新(づ￣3￣) 阅读(120) 评论(0) 推荐(0) 编辑

关于urllib库

摘要：几个模块 data参数，如果加的话即为post请求，不加就是get请求 request模块比较人性化，，，还是用它好，下一章详细理解request模块 https://docs.python.org/3/library/urllib.html 官方文档，有兴趣可以深究。。阅读全文

posted @ 2018-01-06 17:38 java小萌新(づ￣3￣) 阅读(219) 评论(0) 推荐(0) 编辑

爬虫内容回顾整理

摘要：记录一下，加深印象。。。一. request 1. get用于获取数据，post用于提交数据 post 请求的数据会包含在 from data 里面，隐藏起来，适合一些登录页面的请求，比较安全，或者需要你输入参数进入的页面。 get 的请求直接出现在url连接中，可以直接看到，此时删除后面的参数，阅读全文

posted @ 2018-01-06 11:33 java小萌新(づ￣3￣) 阅读(115) 评论(0) 推荐(0) 编辑