Python lxml模块的使用场景有哪些,怎么安装和使�
Admin 2022-06-01 群英技术资�
�html
或xml形式的文本提取特定的内容,就需要我们掌握lxml模块的使用和xpath语法�
lxml模块可以利用xPath规则语法,来快速的定位HEML \ XML 文档中特定元素以及获取节点信息(文本内容、属性值)�XPath
(XML Path Language)是一门HTML\XML 文档中查找信息的语言,可用来在HTML|XML文档中对元素和属性进行遍历�
提取xml、html的数据需要lxml模块和xpath语法配合使用�
我们�windows
为例进行xpath helper的安装�
xpath helper
插件的安装:
学习xpath语法需要先了解xpath中的节点关系�
每个html
、xml的标签我们都称之为节点,其中最顶层的节点称为根节点。我们以xml
为例、html也是一样的。�
author
� title
的第一个兄弟节点�
可以根据标签的属性值,下标等来获取特定的节点�
在xpath中,第一个元素的位置�1�
最后一个元素的位置是last();
倒数第二个是last() - 1;
可以同通配符来选取未知�html
�xml
的元素�
lxml模块是一个第三方模块,安装之后使用�
对发送请求获取的xml或html形式的响应内容进行提取�
pip install lxml
提取标签中的文本内容�
提取标签中的属性的值;
比如,提取a标签中href属性的值,获取url,进而继续发起请求�
1)、导入lxml的etree�
from lxml import etree
2)、利�etree.HTML
,将html字符串(bytes类型或str类型)转化为Element
对象�Element
对象具有xpath的方法,返回结果的类别�
html = etree.HTML(text) ret_list = html.xpath("xpath语法规则字符�")
3)、xpath方法返回列表的三种情�
返回空列表:根据xpath语法规则字符串,没有定位到任何元素;
返回由字符串构成的列表:xpath字符串规则匹配的一定是文本内容或某属性的值;
返回�Element
对象构成的列表:xpath规则字符串匹配的是标签,列表中的Element
对象可以继续进行xpath;
import requests from lxml import etree class Tieba(object): def __init__(self,name): self.url = "https://tieba.baidu.com/f?ie=utf-8&kw={}".format(name) self.headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36' } def get_data(self,url): response = requests.get(url,headers=self.headers) with open("temp.html","wb") as f: f.write(response.content) return response.content def parse_data(self,data): # 创建element对象 data = data.decode().replace("<!--","").replace("-->","") html =etree.HTML(data) el_list = html.xpath('//li[@class="j_thread_list clearfix"]/div/div[2]/div[1]/div[1]/a') #print(len(el_list)) data_list = [] for el in el_list: temp = {} temp['title'] = el.xpath("./text()")[0] temp['link'] = 'https://tieba.baidu.com' + el.xpath("./@href")[0] data_list.append(temp) # 获取下一页url try: next_url = 'https:' + html.xpath('//a[contains(text(),"下一�"]/@href')[0] except: next_url = None return data_list,next_url def save_data(self,data_list): for data in data_list: print(data) def run(self): # url # headers next_url = self.url while True: # 发送请求,获取响应 data = self.get_data(self.url) # 从响应中提取数据(数据和翻页用的url) data_list,next_url = self.parse_data(data) self.save_data(data_list) print(next_url) # 判断是否终结 if next_url == None: break if __name__ == '__main__': tieba =Tieba("传智播客") tieba.run()
运行下边的代码,观察对比html
的原字符串和打印输出的结�
from lxml import etree html_str = """<div<<ul> <li class="item-1"><a href="link1.html" rel="external nofollow" >first item</a></li> <li class="item-1"><a href="link2.html" rel="external nofollow" >second item</a></li> <li class="item-inactive"><a href="link3.html" rel="external nofollow" >third item</a></li> <li class="item-1"><a href="link4.html" rel="external nofollow" >fourth item</a></li> <li class="item=0"><a href="link5.html" rel="external nofollow" >fifth item</a> </ur></div> """ html = etree.HTML(html_str) handeled_html_str = etree.tostring(html).decode() print(handeled_html_str)
结论�
lxml.etree.HTML(html_str)
可以自动补全标签�lxml.etree.tostring
函数可以将转换位Element
对象再转换回html字符串;lxml
来提取数据,应该�lxml.etree.tostring
的返回结果作为提取数据的依据�免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�
猜你喜欢
目录一、python线程模块的选择二、threading模块三、通过threading.Thread类创建线�3.1创建线程的方式一3.2创建线程的方式二四、多线程与多进程4.1pid的比�4.2开启效率的较量4.3内存数据的共享问题五、Thread类的其他方法5.1代码示例5.2join方法六、多线程实现socket6
变量是拥有匹配对象的名字(标识符�,命名空间是一个包含了变量名称们(键)和它们各自相应的对象们(值)的字�,下面这篇文章主要给大家介绍了关于Python基础教程之名称空间以及作用域的相关资�,需要的朋友可以参考下
这篇文章主要介绍了python设计模式之装饰器模式,文章基于python得设计模式资料展开饰器模式得详细资料,具有一定的参考价值,需要的小伙伴可以参考一�
这篇文章主要为大家介绍了Python类和对象,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助<BR>
这篇文章主要介绍了Python assert断言声明,遇到错误则立即返回问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐�
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所�
增值电信经营许可证 : B1.B2-20140078