Python操作lxml库之基础使用篇
目录
- 一、lXML库概述
- 1、lxml库介绍
- 2、lxml库特点
- 3、lxml库的安装
- 二、基本使用
- 1、lxml.etree
- 2、解析html网页
- 3、读取并解析HTML文件
- 三、lxml使用流程
- 1、 导入模块
- 2、创建解析对象
- 四、lxml库数据提取
- 1、提取所有a标签内的文本信息
- 2、获取所有href的属性值
- 3、不匹配href=" www.biancheng.net/priduct"
- 总结
一、lxml库概述
1、lxml库介绍
lxml是XML和HTML的解析器，其主要功能是解析和提取XML和HTML中的数据；lxml和正则一样，也是用C语言实现的，是一款高性能的python HTML、XML解析器，也可以利用XPath语法，来定位特定的元素及节点信息。
2、lxml库特点
HTML是超文本标记语言，主要用于显示数据，他的焦点是数据的外观
XML是可扩展标记语言，主要用于传输和存储数据，他的焦点是数据的内容
3、lxml库的安装
Windows系统下，在cmd命令提示框中，输入如下命令
pip install lxml
在cmd命令行验证是否安装成功。若引入模块，不返回错误则说明安装成功。
二、基本使用
1、lxml.etree
在爬虫代码采集过程中，通过etree.HTML直接http://www.devze.com将字符串实例转化为element对象。
import requests
from lxml import etree
res = requests.get("http://www.jsons.cn/zt/")
html = res.text
root_element = etree.HTML(html)
print(root_element)
print(root_element.tag)
2、解析HTML网页
#解析HTML字符串 from lxml import etree text = ''' <html><body> 开发者_Go开发 <div class="key"> <div class="name">无羡</di编程客栈v> <div class="age">20</div> <div class="address">四川</div> </div> </body></html> ''' # 开始初始化 html = etree.HTML(text) # 这里需要传入一个html形式的字符串 print(html) print(type) # 将字符串序列化为html字符串 result = etree.tostring(html).decode('utf-8') print(result) print(type(result))
3、读取并解析HTML文件
from lxml import etree
# 将html文件进行读取
html = etree.parse('1.html')
# 将html内容序列化
result = etree.tostring(html).decode('utf-8')
print(result)
print(type(result))
html = etree.HTML(result) # 这里需要传入一个html形式的字符串
print(html)
print(type)
三、lxml使用流程
1、 导入模块
from lxml import etree
2、创建解析对象
调用 etree 模块的 HTML() 方法来创建 HTML 解析对象。
parse_html = etree.HTML(html)
HTML() 方法能够将 HTML 标签字符串解析为 HTML 文件，该方法可以自动修正 HTML 文本。
from lxml import etree
html_str = '''
<div>
<ul>
<li class="item1"><a href="link1.html">Python</a></li>
<li class="item2"><a href="link2.htjavascriptml">Java</a></li>
<li class="site1"><javascripta href="c.biancheng.net">C语言中文网</a>
<li class="site2"><a href="www.baidu.com">百度</a></li>
<li class="site3"><a href="www.jd.com">京东</a></li>
</ul>
</div>
'''
html = etree.HTML(html_str)
result = etree.tostring(html)
print(result.decode('utf-8'))
四、lxml库数据提取
1、提取所有a标签内的文本信息
from lxml import etree # 创建解析对象 parse_html=etree.HTML(html) # 书写xpath表达式,提取文本最终使用text() xpath_bds='//a/text()' # 提取文本数据，以列表形式输出 r_list=parse_html.xpath(xpath_bds) # 打印数据列表 print(r_list)
2、获取所有href的属性值
from lxml import etree # 创建解析对象 parse_html=etree.HTML(html) # 书写xpath表达式,提取文本最终使用text() xpath_bds='//a/@href' # 提取文本数据，以列表形式输出 r_list=parse_html.xpath(xpath_bds) # 打印数据列表 print(r_list)
3、不匹配href=" www.biancheng.net/priduct"
from lxml import etree # 创建解析对象 parse_html=etree.HTML(html) # 书写xpath表达式,提取文本最终使用text() xpath_bds='//a/@href' # 提取文本数据，以列表形式输出 xpath_bds='//ul[@id="sitename"]/li/a/@href' # 打印数据列表 print(r_list)
总结
到此这篇关于Python操作lxml库之基础使用篇的javascript文章就介绍到这了,更多相关Python操作lxml库内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！
加载中,请稍侯......
精彩评论