加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
22_解析_bs4的基本使用.py 2.05 KB
一键复制 编辑 原始数据 按行查看 历史
tom_glb 提交于 2021-09-20 09:24 . 爬虫
from bs4 import BeautifulSoup
# 解析本地文件
# 默认打开文件的编码是gbk, 需要指定编码
soup = BeautifulSoup(open("22_解析_bs4的基本使用.html", encoding='utf-8'), 'lxml')
# 根据标签名查找节点,找到的是第一个符合条件的数据
# print(soup.a)
# 获取标签的属性值
# print(soup.a.attrs)
# bs4的一些函数
# 1、find 返回第一个符合条件的数据
# print(soup.find('a'))
# 根据title值找到相应的标签
# print(soup.find('a', title='a2'))
# 根据class的值找到相应的标签对象 注意class需要添加下划线
# print(soup.find('a', class_='a2'))
# 2、find_all 返回所有标签的列表
# print(soup.find_all('a'))
# print(soup.find_all(['a', 'span'])) # 获取所有标签的数据,需要添加的是列表的数据
# limit 是查找前几个数据
# print(soup.find_all('li', limit=2))
# 3、select(推荐) 返回的是一个列表,并且会返回多个数据
# print(soup.select('a'))
# 可以通过.代表class,类选择器
# print(soup.select('.a1'))
# 属性选择器---通过属性来寻找对应的标签
# 查找到li标签中有id的标签
# print(soup.select('li[id]'))
# 查找到li中id为l2的标签
# print(soup.select('li[id="l2"]'))
# 层级选择器
# 后代选择器
# print(soup.select('div li')) # 找到的是div下面的li
# 子代选择器
# 某标签的第一级子标签
# print(soup.select('div > ul > li'))
# 找到a标签和li标签的所有的对象
# print(soup.select('a,li'))
# 节点信息
# 获取节点内容
# obj = soup.select("#d1")[0]
# 如果标签对象中 只有内容 那么string和get_text()都可以使用
# 如果标签对象中除了内容还有标签,那么string就获取不到数据,而get_text()可以获取数据,推荐使用get_text()
# print(obj.string)
# print(obj.get_text())
# 节点的属性
# obj = soup.select("#p1")[0]
# name是标签的名字
# print(obj.name)
# 将属性值的字典返回
# print(obj.attrs)
# 获取节点的属性
obj = soup.select('#p1')[0]
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化