Python?BeautifulSoup4實(shí)現(xiàn)數(shù)據(jù)解析與提取
Beautiful Soup4
概述
Beautiful Soup是一個(gè)Python的庫，用于解析HTML和XML文檔，提供了方便的數(shù)據(jù)提取和操作功能。它可以幫助從網(wǎng)頁中提取所需的數(shù)據(jù)，例如標(biāo)簽、文本內(nèi)容、屬性等。
Beautiful Soup會自動將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。
Beautiful Soup用來解析 HTML比較簡單，API非常人性化，支持多種解析器。
文檔：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
文檔：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
主要特點(diǎn)
靈活的解析方式：
Beautiful Soup支持多種解析器，包括Python標(biāo)準(zhǔn)庫中的html.parser解析器，以及第三方庫lxml和html5lib。這樣，我們可以根據(jù)需要選擇合適的解析器進(jìn)行處理。
簡單直觀的API：
Beautiful Soup提供了簡潔而友好的API，使得解析HTML文檔變得非常容易。我們可以使用簡潔的方法來選擇特定的標(biāo)簽、獲取標(biāo)簽中的文本內(nèi)容、提取屬性值等。
強(qiáng)大的文檔遍歷能力：
通過Beautiful Soup，我們可以遍歷整個(gè)HTML文檔樹，訪問、修改或刪除各個(gè)節(jié)點(diǎn)，甚至可以通過嵌套選擇器，快速地定位到需要的節(jié)點(diǎn)。
對破碎HTML的容錯處理：
Beautiful Soup能夠處理破碎的HTML文檔，例如自動糾正未閉合的標(biāo)簽、自動添加缺失的標(biāo)簽等，使得提取數(shù)據(jù)更加穩(wěn)定和可靠。
解析器
Beautiful在解析時(shí)依賴解析器，它除了支持Python標(biāo)準(zhǔn)庫中的HTML解析器外，還支持一些第三方庫。
支持的解析器:
| 解析器 | 使用方法 | 優(yōu)勢 | 劣勢 |
|---|---|---|---|
| Python標(biāo)準(zhǔn)庫 | BeautifulSoup(markup, "html.parser") | Python的內(nèi)置標(biāo)準(zhǔn)庫 執(zhí)行速度適中 文檔容錯能力強(qiáng) | Python 2.7.3 or 3.2.2)前 的版本中文檔容錯能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup, "lxml") | 速度快 文檔容錯能力強(qiáng) | 需要安裝C語言庫 |
| lxml XML 解析器 | BeautifulSoup(markup, ["lxml-xml"]) BeautifulSoup(markup, "xml") | 速度快 唯一支持XML的解析器 | 需要安裝C語言庫 |
| html5lib | BeautifulSoup(markup, "html5lib") | 最好的容錯性 以瀏覽器的方式解析文檔 生成HTML5格式的文檔 | 速度慢 不依賴外部擴(kuò)展 |
由此可見：
lxml解析器可以解析HTML和XML文檔，并且速度快，容錯能力強(qiáng)，所有推薦使用它。如果使用lxml，那么在初始化的BeautifulSoup時(shí)候，把第二個(gè)參數(shù)設(shè)為lxml即可。
Beautiful Soup4的基本使用
安裝庫
pip install beautifulsoup4 pip install lxml
創(chuàng)建HTML文件
將一段文檔傳入BeautifulSoup 的構(gòu)造方法,就能得到一個(gè)文檔的對象, 可以傳入一段字符串或一個(gè)文件。
這里創(chuàng)建一個(gè)test.html文件，以此創(chuàng)建一個(gè)文檔對象。
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<div>
<ul>
<li class="class01"><span index="1">H1</span></li>
<li class="class02"><span index="2" class="span2">H2</span></li>
<li class="class03"><span index="3">H3</span></li>
</ul>
</div>
</body>
</html>基本用法
# 導(dǎo)入模塊
from bs4 import BeautifulSoup
# 創(chuàng)建 beautifulsoup對象，有2種方式創(chuàng)建
# 1.通過字符串創(chuàng)建, 第二個(gè)參數(shù)用于指定解析器
# soup = BeautifulSoup("html", 'lxml')
# 2.通過文件創(chuàng)建
soup = BeautifulSoup(open('test.html'), 'lxml')
# 打印輸出
# print(soup.prettify())
# 獲取元素標(biāo)簽元素,默認(rèn)返回第一個(gè)元素
print(soup.li)
# 使用 .contents 或 .children 獲取子元素
# 返回列表
print(soup.ul.contents)
# 返回迭代器
print(soup.li.children)
# 獲取元素內(nèi)容
print(soup.title.get_text())
# 獲取元素屬性值,默認(rèn)取第一個(gè)元素屬性值
print(soup.li.get('class'))操作結(jié)果如下：
<li class="class01"><span index="1">H1</span></li>
['\n', <li class="class01"><span index="1">H1</span></li>, '\n', <li class="class02"><span class="span2"
index="2">H2</span></li>, '\n', <li class="class03"><span index="3">H3</span></li>, '\n']
<list_iterator object at 0x000001C18E475F10>
Title
['class01']
Beautiful Soup4的對象種類
Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹形結(jié)構(gòu),每個(gè)節(jié)點(diǎn)都是Python對象,所有對象可以歸納為4種: Tag , NavigableString , BeautifulSoup , Comment
Tag對象
在Beautiful Soup中，Tag對象是用于表示HTML或XML文檔中的標(biāo)簽元素的對象，Tag對象與原生文檔中的tag相同。Tag對象包含了標(biāo)簽元素的名稱、屬性和內(nèi)容等信息，并提供了多種方法來獲取、修改和操作這些信息。
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
type(tag)
# <class 'bs4.element.Tag'>常用的Tag對象的屬性和方法
| 屬性 | 描述 | 示例 |
|---|---|---|
| name屬性 | 獲取標(biāo)簽的名稱 | tag_name = tag.name |
| string屬性 | 獲取標(biāo)簽內(nèi)的文本內(nèi)容 | tag_text = tag.string |
| attrs屬性 | 獲取標(biāo)簽的屬性，以字典的形式返回 | tag_attrs = tag.attrs |
| get()方法 | 根據(jù)屬性名獲取標(biāo)簽的屬性值 | attr_value = tag.get('attribute_name') |
| find()方法 | 查找并返回第一個(gè)滿足條件的子標(biāo)簽元素 | child_tag = tag.find('tag_name') |
| find_all()方法 | 查找并返回所有滿足條件的子標(biāo)簽元素，以列表的形式返回 | child_tags = tag.find_all('tag_name') |
| parent屬性 | 獲取當(dāng)前標(biāo)簽的父標(biāo)簽 | parent_tag = tag.parent |
| parents屬性 | 獲取當(dāng)前標(biāo)簽的所有祖先標(biāo)簽，以生成器的形式返回 | for parent in tag.parents: print(parent) |
| children屬性 | 獲取當(dāng)前標(biāo)簽的直接子標(biāo)簽，以生成器的形式返回 | for child in tag.children: print(child) |
| next_sibling屬性 | 獲取當(dāng)前標(biāo)簽的下一個(gè)兄弟標(biāo)簽 | next_sibling_tag = tag.next_sibling |
| previous_sibling屬性 | 獲取當(dāng)前標(biāo)簽的上一個(gè)兄弟標(biāo)簽 | previous_sibling_tag = tag.previous_sibling |
NavigableString對象
NavigableString對象是Beautiful Soup庫中的一種數(shù)據(jù)類型，用于表示在HTML或XML文檔中的純文本內(nèi)容。它繼承自Python的基本字符串類型，但具有額外的功能和特性，使其適用于處理文檔中的文本內(nèi)容。
假設(shè)有如下HTML代碼片段：
<p>This is a <b>beautiful</b> day.</p>
使用Beautiful Soup將其解析為一個(gè)文檔對象：
from bs4 import BeautifulSoup html = '<p>This is a <b>beautiful</b> day.</p>' soup = BeautifulSoup(html, 'html.parser')
獲取
標(biāo)簽的內(nèi)容，這實(shí)際上是一個(gè)NavigableString對象：
p_tag = soup.find('p')
content = p_tag.string
print(content) # 輸出：This is a
print(type(content)) # 輸出：<class 'bs4.element.NavigableString'>還可以對NavigableString對象進(jìn)行一些操作，如獲取文本內(nèi)容、替換文本以及去除空白字符：
# 獲取文本內(nèi)容
text = content.strip()
print(text) # 輸出：This is a
# 替換文本
p_tag.string.replace_with('Hello')
print(p_tag) # 輸出：<p>Hello<b>beautiful</b> day.</p>
# 去除空白字符
text_without_spaces = p_tag.string.strip()
print(text_without_spaces) # 輸出：Hello| 屬性 | 描述 | 示例 |
|---|---|---|
| string屬性 | 用于獲取NavigableString對象的文本內(nèi)容 | text = navigable_string.string |
| replace_with()方法 | 用于用另一個(gè)字符串或?qū)ο筇鎿Q當(dāng)前NavigableString對象 | navigable_string.replace_with(new_string) |
| strip()方法 | 去除字符串兩端的空白字符 | stripped_text = navigable_string.strip() |
| parent屬性 | 獲取NavigableString對象所屬的父節(jié)點(diǎn)（通常是一個(gè)Tag對象） | parent_tag = navigable_string.parent |
| next_sibling屬性 | 獲取NavigableString對象的下一個(gè)兄弟節(jié)點(diǎn) | next_sibling = navigable_string.next_sibling |
| previous_sibling屬性 | 獲取NavigableString對象的上一個(gè)兄弟節(jié)點(diǎn) | previous_sibling = navigable_string.previous_sibling |
BeautifulSoup對象
BeautifulSoup對象是Beautiful Soup庫的核心對象，用于解析和遍歷HTML或XML文檔。
常用方法：
find(name, attrs, recursive, string, **kwargs)：根據(jù)指定的標(biāo)簽名、屬性、文本內(nèi)容等查找第一個(gè)匹配的標(biāo)簽
find_all(name, attrs, recursive, string, limit, **kwargs)： 根據(jù)指定的標(biāo)簽名、屬性、文本內(nèi)容等查找所有匹配的標(biāo)簽，并返回一個(gè)列表
select(css_selector): 使用CSS選擇器語法查找匹配的標(biāo)簽，并返回一個(gè)列表
prettify():以美觀的方式輸出整個(gè)文檔的內(nèi)容，包括標(biāo)簽、文本和縮進(jìn)
has_attr(name):檢查當(dāng)前標(biāo)簽是否具有指定的屬性名，返回布爾值
get_text():獲取當(dāng)前標(biāo)簽和所有子標(biāo)簽的文本內(nèi)容，并返回一個(gè)字符串
常用屬性：
soup.title:獲取文檔中第一個(gè)<title>標(biāo)簽的內(nèi)容
soup.head:獲取文檔中的<head>標(biāo)簽
soup.body:獲取文檔中的<body>標(biāo)簽
soup.find_all('tag'):獲取文檔中所有匹配的<tag>標(biāo)簽，并返回一個(gè)列表
soup.text:獲取整個(gè)文檔中的純文本內(nèi)容（去除標(biāo)簽等）
Comment對象
Comment對象是Beautiful Soup庫中的一種特殊類型的對象，用于表示HTML或XML文檔中的注釋內(nèi)容。
在解析HTML或XML文檔時(shí)，Beautiful Soup將注釋內(nèi)容作為Comment對象來表示。注釋是文檔中的一種特殊元素，用于添加注解、說明或暫時(shí)刪除一部分內(nèi)容。Comment對象可以通過Beautiful Soup庫的解析器自動識別和處理。
處理和訪問HTML文檔中的注釋內(nèi)容示例：
from bs4 import BeautifulSoup # 創(chuàng)建包含注釋的HTML字符串 html = "<html><body><!-- This is a comment --> <p>Hello, World!</p></body></html>" # 解析HTML文檔 soup = BeautifulSoup(html, 'html.parser') # 使用type()函數(shù)獲取注釋對象的類型 comment = soup.body.next_sibling print(type(comment)) # 輸出 <class 'bs4.element.Comment'> # 使用`.string`屬性獲取注釋內(nèi)容 comment_content = comment.string print(comment_content) # 輸出 This is a comment
搜索文檔樹
Beautiful Soup提供了多種方式來查找和定位HTML文檔中的元素。
方法選擇器
使用Beautiful Soup的find()或find_all()方法可以通過標(biāo)簽名、結(jié)合屬性名和屬性值、結(jié)合文本內(nèi)容等方式來選擇元素。
兩者區(qū)別：
find返回符合條件的第一個(gè)元素
find_all返回符合條件的所有元素列表
例如：soup.find('div')會返回第一個(gè)div標(biāo)簽的元素，soup.find_all('a')會返回所有的a標(biāo)簽元素。
1.通過標(biāo)簽或標(biāo)簽列表查找元素
# 查找第一個(gè)div標(biāo)簽的元素
soup.find('div')
# 查找所有的a標(biāo)簽元素
soup.find_all('a')
# 查找所有l(wèi)i標(biāo)簽
soup.find_all('li')
# 查找所有a標(biāo)簽和b標(biāo)簽
soup.find_all(['a','b'])2.通過正則表達(dá)式查找元素
# 以sp開頭的標(biāo)簽查找
import re
print(soup.find_all(re.compile("^sp")))3.通過屬性查找元素
find = soup.find_all(
attrs={
"屬性名":"值"
}
)
print(find)# 查找第一個(gè)具有href屬性的a標(biāo)簽元素
soup.find('a', href=True)
# 查找所有具有class屬性的div標(biāo)簽元素
soup.find_all('div', class_=True)4.通過文本內(nèi)容查找元素
# 查找第一個(gè)包含"Hello"文本內(nèi)容的元素 soup.find(text='Hello') # 查找所有包含"World"文本內(nèi)容的元素 soup.find_all(text="World")
5.通過關(guān)鍵詞參數(shù)查找元素
soup.find_all(id='id01')
6.混合使用
soup.find_all(
'標(biāo)簽名',
attrs={
"屬性名":"值"
},
text="內(nèi)容"
)CSS選擇器
使用Beautiful Soup的select()方法可以通過CSS選擇器來查找元素。CSS選擇器是一種強(qiáng)大而靈活的方式，可以根據(jù)標(biāo)簽名、類名、ID、屬性以及它們的組合來定位元素。
1.類選擇器
通過類名查找元素，使用.符號加上類名來查找元素
soup.select('.className')2.ID選擇器
通過ID查找元素，使用#符號加上ID來查找元素
soup.select('#id')3.標(biāo)簽選擇器
通過標(biāo)簽名查找元素，直接使用標(biāo)簽名來查找元素
soup.select('p')4.屬性選擇器
通過屬性查找元素：可以使用[屬性名=屬性值]的格式來查找具有特定屬性及屬性值的元素
soup.select('[屬性="值"]')
soup.select('[href="example.com"]')
soup.select('a[)5.組合選擇器
可以將多個(gè)選擇器組合在一起以獲得更精確的查找
# 返回所有在具有特定類名的div元素內(nèi)的a標(biāo)簽元素
soup.select('div.class01 a')
soup.select('div a')關(guān)聯(lián)選擇
在進(jìn)行元素查找的過程中，有時(shí)候不能做到一步就獲取到想要的節(jié)點(diǎn)元素，需要選取某一個(gè)節(jié)點(diǎn)元素，然后以這個(gè)節(jié)點(diǎn)為基準(zhǔn)再選取它的子節(jié)點(diǎn)、父節(jié)點(diǎn)、兄弟節(jié)點(diǎn)等。
在Beautiful Soup中，可以通過使用CSS選擇器語法來進(jìn)行關(guān)聯(lián)選擇，需要借助Beautiful Soup的select()方法，它允許使用CSS選擇器來選擇元素。
1.后代選擇器（空格）：可以選擇指定元素下的所有后代元素。
div a /* 選擇div元素下的所有a元素 */
.container p /* 選擇類名為container的元素下的所有p元素 */
2.直接子代選擇器（>）：可以選擇指定元素的直接子代元素。
div > a /* 選擇div元素的直接子代的a元素 */
.container > p /* 選擇類名為container的元素的直接子代的p元素 */
3.相鄰兄弟選擇器（+）：可以選擇與指定元素緊鄰的下一個(gè)同級元素。
h1 + p /* 選擇緊接在h1元素后的同級p元素 */
.container + p /* 選擇緊接在類名為container的元素后的同級p元素 */
4.通用兄弟選擇器（~）：可以選擇與指定元素同級的所有后續(xù)元素。
h1 ~ p /* 選擇與h1元素同級的所有p元素 */
.container ~ p /* 選擇與類名為container的元素同級的所有p元素 */
5.混合選擇器：可以結(jié)合多個(gè)不同類型的選擇器來選擇特定的元素
div , p /* 選擇所有div元素和所有p元素 */
.cls1.cls2 /* 選擇類名是cls1并且類名是cls2 */
遍歷文檔樹
在Beautiful Soup中，遍歷文檔樹是一種常見的操作，用于訪問和處理HTML或XML文檔的各個(gè)節(jié)點(diǎn)
標(biāo)簽的子節(jié)點(diǎn)和父節(jié)點(diǎn)
contents：獲取Tag的所有子節(jié)點(diǎn)，返回一個(gè)list
print(bs.tag.contents) # 使用列表索引獲取某一個(gè)元素 print(bs.tag.contents[1])
children：獲取Tag的所有子節(jié)點(diǎn)，返回一個(gè)生成器
for child in tag.contents:
print(child)parent屬性獲取標(biāo)簽的父節(jié)點(diǎn)
parent_tag = tag.parent
標(biāo)簽的同級兄弟節(jié)點(diǎn)
可以使用.next_sibling和.previous_sibling屬性獲取標(biāo)簽的下一個(gè)或上一個(gè)同級兄弟節(jié)點(diǎn)。
next_sibling = tag.next_sibling previous_sibling = tag.previous_sibling
遞歸遍歷文檔樹
可以使用.find()和.find_all()方法在文檔樹中遞歸搜索匹配的標(biāo)簽。
可以使用.descendants生成器迭代器遍歷文檔樹的所有子孫節(jié)點(diǎn)。
for tag in soup.find_all('a'):
print(tag)
for descendant in tag.descendants:
print(descendant)遍歷標(biāo)簽屬性
可以使用.attrs屬性獲取標(biāo)簽的所有屬性，并遍歷它們。
for attr in tag.attrs:
print(attr)以上就是Python BeautifulSoup4實(shí)現(xiàn)數(shù)據(jù)解析與提取的詳細(xì)內(nèi)容，更多關(guān)于Python BeautifulSoup4的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python基于ssh遠(yuǎn)程連接Mysql數(shù)據(jù)庫操作
這篇文章主要為大家介紹了Python基于ssh遠(yuǎn)程連接Mysql數(shù)據(jù)庫操作示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
這篇文章主要介紹了谷歌這些大廠怎么寫python代碼，我們寫代碼，往往還是按照其它語言的思維習(xí)慣來寫，那樣的寫法不僅運(yùn)行速度慢，代碼讀起來也費(fèi)盡，給人一種拖泥帶水的感覺,需要的朋友可以參考下2021-09-09
這篇文章主要介紹了用python如何爬取小姐姐私房照，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-08-08
python 循環(huán)結(jié)構(gòu)練習(xí)題
這篇文章主要給大家分享的是python 循環(huán)結(jié)構(gòu)練習(xí)題，求兩個(gè)數(shù)最大公約數(shù)、整數(shù)反轉(zhuǎn)：如12345，輸出54321等多個(gè)練習(xí)題,需要的朋友可以參考一下2021-11-11
QPixmap主要用于繪圖，針對圖像顯示而最佳化設(shè)計(jì)，這篇文章主要介紹了Python中的QPixmap用法,對QPixmap使相關(guān)知識感興趣的朋友一起看看吧2023-03-03
Django模板繼承與模板的導(dǎo)入實(shí)例詳解
模板繼承主要是為了提高代碼重用,減輕開發(fā)人員的工作量,下面這篇文章主要給大家介紹了關(guān)于Django模板繼承與模板導(dǎo)入的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-03-03
這篇文章主要介紹了Python爬蟲之pandas基本安裝與使用方法,結(jié)合實(shí)例形式分析了Python爬蟲操作中pandas的pip命令安裝與HTML、Excel等格式文件保存相關(guān)操作技巧,需要的朋友可以參考下2018-08-08
Keras搭建孿生神經(jīng)網(wǎng)絡(luò)Siamese?network比較圖片相似性
這篇文章主要為大家介紹了Keras搭建孿生神經(jīng)網(wǎng)絡(luò)Siamese?network比較圖片相似性，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
python 實(shí)現(xiàn)體質(zhì)指數(shù)BMI計(jì)算
這篇文章主要介紹了python 實(shí)現(xiàn)體質(zhì)指數(shù)BMI計(jì)算操作，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
解決python xx.py文件點(diǎn)擊完之后一閃而過的問題
今天小編就為大家分享一篇解決python xx.py文件點(diǎn)擊完之后一閃而過的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06