随笔分类 - Python Crawler
摘要：例如Python的代码是这个样子的。 C#调用 会报错 谷歌一下各种bug，有的人说这样添加库。在python的代码中这么搞。 那我那么多python文件都得加这个吗?试了一下 也不行。 所以咱们在C#调用的时候 加载 后台看见别人这么搞。 弄完之后 还是不行。 最后再添加一行。。。 把packge
阅读全文
摘要：前言 在大数据时代，你竟然会在网上看到的词云，例如这样的。 看到之后你是什么感觉?想不想自己做一个？ 如果你的答案是正确的，那就不要拖延了，现在我们就开始，做一个词云分析图，Python是一个当下很流行的编程语言，你不仅可以用它做数据分析和可视化，还能用来做网站、爬取数据、做数学题、写脚本替你偷懒…
阅读全文
摘要：1.在PyCharm安装lxml. 2.找到源码 3.F12、copy源码的xpath 4.代码
阅读全文
摘要：前言：最近我的朋友想要租房子,为了装个b,决定运用技术去帮助他。 这个网站是什么我也不知道 反正是一个房子交易网站 http://www.ljia.net/ 设置请求头 代码： 哈哈就是这么简单,让我们看下效果图吧！！！ 然后,你可以把这些数据放到Mysql,Redis 那我可管不着 都可以的了 回
阅读全文
摘要：BeautifulSoup bs4主要使用find()方法和find_all()方法来搜索文档。 find()用来搜索单一数据，find_all()用来搜索多个数据 find_all()与find() name –> tag名 string –> 内容 recursive –>是否搜索所有子孙节点
阅读全文
摘要：前沿：随着互联网的高速发展,数据变得越来越重要,Python成为了人工智能的热门语言,而Nosql数据库已成为日常开发用品。 今天要写的是Python操作Redis Redis的安装我就不介绍了,你可以看看Redis一系列的文章 我也有关于Redis安装一文. https://www.cnblogs
阅读全文
摘要：cInronPython是一种在.NET和Mono上实现的Python语言，使用InronPython就可以在.NET环境中调用Python代码 安装InronPython Python: C#:
阅读全文
摘要：连接数据库 pymssql连接数据库的方式和使用sqlite的方式基本相同： 使用connect创建连接对象 connect.cursor创建游标对象，SQL语句的执行基本都在游标上进行 cursor.executeXXX方法执行SQL语句，cursor.fetchXXX获取查询结果等 调用clos
阅读全文
摘要：从网上找的，估计原文是：Python操作SQLServer示例 本文主要是Python操作SQLServer示例，包括执行查询及更新操作（写入中文）。 需要注意的是：读取数据的时候需要decode('utf-8')，写数据的时候需要encode('utf-8')，这样就可以避免烦人的中文乱码或报错问
阅读全文
摘要：一、爬虫流程： 1、发起请求 使用http库向目标站点发起请求，即发送一个Request Request包含：请求头、请求体等 Request模块缺陷：不能执行JS 和CSS 代码 2、获取响应内容 如果服务器能正常响应，则会得到一个Response Response包含：html，json，图片，
阅读全文
摘要：一.切片 L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack']取出前三个元素 , 笨方法就是通过下标一个一个获取 [L[0], L[1], L[2]]Python做好了封装可以通过切片就行快速获取L[0:3] 进行获取 还可以倒着来 比如L[-2,-1]取
阅读全文
摘要：BeautifulSoup是灵活又方便的网页解析库,处理搞笑,支持多种解析器利用它不用编写正则表达式即可方便地实现网页信息的提取BS的四大对象：1.TagTag就是HTML中的一个个标签,例如：<a class="sister" href="http://example.com/elsie" id=
阅读全文
摘要：一.切片 L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack']取出前三个元素 , 笨方法就是通过下标一个一个获取 [L[0], L[1], L[2]]Python做好了封装可以通过切片就行快速获取L[0:3] 进行获取 还可以倒着来 比如L[-2,-1]取
阅读全文
