Python中parsel两种获取数据方式小结

目录

• ⭐️网页解析利器parsel实战
• parsel简介
• 发送编程客栈请求
• 解析数据
• ✨XPATH方式
• ✨css方法
• 总结

⭐️网页解析利器parsel实战

我们以实际的案例，来具体了解学习其功能。我们在这里重点讲解其两种方式。一个是XPATH，一个是CSS。我们以某网为例，获取其新闻标题。

parsel简介

Parsel是一个用于解析jsON数据的python库。它提供了一个简单易用的API，可以轻松地从JSON文件或字符串中解析数据。可以对 html 和 XML 进行解析，并支持使用 XPath 和 CSS Selector 对内容php进行提取和修改，同时它还融合了正则表达式提取的功能。功能灵活而又强大。

发送请求

我们先确定目标网址，我们为了让新手更好的学习，我们这里以中国新闻网为例，不讲太复杂的案例。如果，想更好的提升自己，可以尝试学习我之前发的文章。这篇文章使用的方法也是parsel。

我们发送请求，获取数据。我们相信大家这里的代码都会写了。

import parsel
import requests

url = 'https://www.xxxxx.com/importnews.html'

responses = requests.get(url)
responses.encoding=responses.apparent_encoding
print(responses.text)

我们使用requests.get()函数来发送HTTP请求，并将响应存储在responses变量中。在这个例子中，我们将响应的文javascript本内容存储在responses.text变量中。

解析数据

我们获取到了网页源代码之后，我们使用parsel方法对其解析，处理网页源代码。

selector = parsel.Selector(responses.text)

我们使用 parsel 库的 Selector 对象来选择 responses.text 中的特定元素。

我们使用开发者工具，观察标题在哪个标签位置里面。

​编辑

由上图，我们可以看到，我们标题信息就在

• 标签里面。我们可以提取
• 标签里面所有的内容。在这里，我们只获取新闻的标android题内容。下面我们将用两种方式获取。

✨XPATH方式

我们很容易获取到了标签所在的位置，大家不会写的话，可以右击copy—xpath。我们来写代码。

titles = selector.xpath('/html/body/div[4]/div[1]/div[2]/ul/li/div[2]/a/text()').getall()

xpath 方法是 Seljavascriptector 对象中的一个方法，用于指定 XPath 表达式，它可以用于选择 HTML 元素。在这个例子中，我们使用 xpath 方法来选择 /html/body/div[4]/div[1]/div[2]/ul/li/div[2]/a/text() 表达式指定的所有 <a> 元素，并将它们的文本内容作为列表返回。

我们这里会得到一个所有新闻的标题列表，我们for遍历一下。我们看看效果。

✨CSS方法

我们刚刚用了XPATH的方法获取新闻的标题，我们接下来，我们使用CSS的方法来获取标题。

 我们这里，直接写代码了。

titles = selector.css('ul > li > div.dd_bt a::text').getall()

css 方法是 Selector 对象中的一个方法，用于指定 CSS 属性，它可以用于选择 HTML 元素。在这个例子中，我们使用 css 方法来选择 ul > li > div.dd_bt a 表达式指定的所有 <a> 元素的文本，并将它们的样式作为列表返回。

我们CSS语法还可以这样写。

titles = selector.css('.dd_bt a::text').getall()

css 方法是 Selector 对象中的一个方法，用于指定 CSS 属性，它可以用于选择 HTML 元素。在这个例子中，我们使用 css 方法来选择 .dd_bt a::text 表达式指定的所有 <a> 元素，并将它们的文本内容作为列表返回。

我们会发现是一样的效果，不管怎么样，大家都要会一种方法。

总结

在parsel实战中，我完成了一个使用 parsel 库的选择器来选择 特定元素的内容。在这个实战中，我使用了 xpath 和 css 方法来指定选择的元素的位置和样式，使用 Selector 对象来指定选择的元素，并使用 getall 方法来获取选择的所有元素。

首先，我们需要更好地理解 xpath 和 css 方法的使用，以便更准确地选择元素。其次，我们需要更好地理解 Selector 对象的使用，以便更准确地指定选择的元素。

​到此这篇关于Python中parsel两种获取数据方式小结的文章就介绍到这了,更多相关Python parsel获取内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！