python df遍歷的N種方式(小結(jié))
for…in 迭代循環(huán)
首先介紹Python中最常用的for…in循環(huán)遍歷的方式。for…in循環(huán)結(jié)構(gòu)用于遍歷列表、元組、字典、字符串、集合、文件等。其實(shí)for和in是兩個(gè)獨(dú)立的語(yǔ)法，for語(yǔ)句是Python內(nèi)置的迭代器工具，用于從可迭代容器對(duì)象（如列表、元組、字典、字符串、集合、文件等）中逐個(gè)讀取元素，直到容器中沒有更多元素為止，工具和對(duì)象之間只要遵循可迭代協(xié)議即可進(jìn)行迭代操作。in的存在使得python在操作可迭代對(duì)象時(shí)變得簡(jiǎn)單得多，用于配合for使用逐個(gè)取可迭代對(duì)象的元素。
for語(yǔ)句參與的具體迭代的過程為：可迭代對(duì)象通過iter方法返回迭代器，迭代器具有next方法，for循環(huán)不斷地調(diào)用next方法，每次按序返回迭代器中的一個(gè)值，直到迭代到最后，沒有更多元素時(shí)拋出異常StopIteration（Python會(huì)自動(dòng)處理異常）。模擬迭代的過程如下所示：
# 迭代的過程
x = [1,2,3]
its = x.__iter__() #列表是可迭代對(duì)象，否則會(huì)提示不是迭代對(duì)象
print(its)
# 打印結(jié)果：
<list_iterator object at 0x100f32198>
print(next(its)) # its包含此方法，說明its是迭代器
# 打印結(jié)果：
1
print(next(its))
# 打印結(jié)果：
2
print(next(its))
# 打印結(jié)果：
3
print(next(its))
# 打印結(jié)果：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration迭代的優(yōu)點(diǎn)是無(wú)需把所有元素一次加載到內(nèi)存中，可以在調(diào)用next方法時(shí)逐個(gè)返回元素，避免出現(xiàn)內(nèi)存空間不夠的情況。
使用for…in循環(huán)方式實(shí)現(xiàn)單均線突破策略。遍歷全部交易日的收盤價(jià)數(shù)值和Ma20數(shù)值，將收盤價(jià)數(shù)值減去Ma20數(shù)值，并使用np.sign()取差值符號(hào)，當(dāng)收盤價(jià)在Ma20上方時(shí)差值為正，收盤價(jià)在Ma20上下方時(shí)差值為負(fù)，由負(fù)轉(zhuǎn)正對(duì)應(yīng)為買點(diǎn)，由正轉(zhuǎn)負(fù)對(duì)應(yīng)為賣點(diǎn)。如下所示
def forin_looping(df):
df['signal'] = 0 #df = df.assign(signal = 0) #可采用assign新增一列
for i in np.arange(0,df.shape[0]):
df.iloc[i,df.columns.get_loc('signal')] = np.sign(df.iloc[i]['Close'] - df.iloc[i]['Ma20'])
return df
print(forin_looping(df_stockload)[0:5])
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
"""
iterrows()生成器方式
另一種Python中常用的遍歷方式為iterrows()生成器方式。所謂生成器其實(shí)是一種特殊的迭代器，內(nèi)部支持了迭代器協(xié)議。Python中提供生成器函數(shù)和生成器表達(dá)式兩種方式實(shí)現(xiàn)生成器，每次請(qǐng)求返回一個(gè)結(jié)果，不需要一次性構(gòu)建一個(gè)結(jié)果列表，節(jié)省了內(nèi)存空間。
在Python 3中可使用range返回一個(gè)迭代器，用來一次一個(gè)值地遍歷一個(gè)范圍.
# 生成器函數(shù)方式實(shí)現(xiàn)生成器 def gensquares(N): ?? ?for i in range(N): ?? ??? ?yield i**2? ? ? ? ?? print(gensquares(5)) #打印結(jié)果： <generator object gensquares at 0x11a35cf48> for i in gensquares(5): ?? ?print(i)? # 打印結(jié)果： 0 1 4 9 16
其實(shí)yield就相當(dāng)于一個(gè)return，只是return返回的是值，但是yield返回的是生成器，除了這點(diǎn)其他都一樣，所以return也好yield也好都只能用在函數(shù)中。
生成器表達(dá)式方式實(shí)現(xiàn)生成器就是類似列表解析，按需產(chǎn)生結(jié)果的一個(gè)對(duì)象，例程代碼如下所示：
# 生成器表達(dá)式方式實(shí)現(xiàn)生成器 print(x**2 for x in range(5)) # 打印結(jié)果： <generator object <genexpr> at 0xb3d31fa4> print(list(x**2 for x in range(5))) # 打印結(jié)果： [0, 1, 4, 9, 16]
通過iterrows()遍歷方式計(jì)算股票每個(gè)交易日收盤價(jià)與Ma20差值，此處iterrows是對(duì)dataframe格式數(shù)據(jù)行進(jìn)行迭代的一個(gè)生成器，它返回每行的索引及包含行本身的對(duì)象，代碼如下所示：
#iterrows()遍歷方式 def iterrows_loopiter(df): ? ? df['signal'] = 0 #df = df.assign(signal = 0) ?#可采用assign新增一列 ? ? for index,row in df.iterrows(): ? ? ? ? df.loc[index, 'signal'] = np.sign(row['Close']-row['Ma20']) ? ? return df print(iterrows_loopiter(df_stockload)[0:5]) """ ? ? ? ? ? ? ? High ? ? Low ? ?Open ? Close ?Volume ?Adj Close ? ?Ma20 ?signal Date ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 2018-01-29 ?3587.0 ?3510.3 ?3563.6 ?3523.0 ?236000 ? ? 3523.0 ?3454.3 ? ? 1.0 2018-01-30 ?3523.1 ?3484.7 ?3511.5 ?3488.0 ?186400 ? ? 3488.0 ?3461.3 ? ? 1.0 2018-01-31 ?3495.5 ?3454.7 ?3470.5 ?3480.8 ?207300 ? ? 3480.8 ?3466.8 ? ? 1.0 2018-02-01 ?3495.1 ?3424.4 ?3478.7 ?3447.0 ?260500 ? ? 3447.0 ?3469.9 ? ?-1.0 2018-02-02 ?3463.2 ?3388.9 ?3419.2 ?3462.1 ?208100 ? ? 3462.1 ?3473.4 ? ?-1.0 """
apply()循環(huán)方式
apply()方法可將函數(shù)應(yīng)用于dataframe特定行或列。函數(shù)由lambda方式在代碼中內(nèi)嵌實(shí)現(xiàn)，lambda 為匿名函數(shù)，可以省去定義函數(shù)的過程，讓代碼更加精簡(jiǎn)。lambda函數(shù)的末尾包含axis參數(shù)，用來告知Pandas將函數(shù)運(yùn)用于行（axis = 1）或者列（axis = 0）。apply()方法循環(huán)方式實(shí)現(xiàn)的代碼如下所示：
df_stockload['signal'] = df_stockload.apply(lambda row: (np.sign(row['Close']-row['Ma20'])), axis = 1)
print(df_stockload.head())
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
矢量化遍歷方式
此處我們主要處理一維數(shù)組之間的計(jì)算，那么矢量化方式可使用Pandas series 的矢量化方式和Numpy arrays的矢量化方式兩種。
先來看下Pandas series 的矢量化方式。
Pandas的DataFrame、series基礎(chǔ)單元數(shù)據(jù)結(jié)構(gòu)基于鏈表，因此可將函數(shù)在整個(gè)鏈表上進(jìn)行矢量化操作，而不用按順序執(zhí)行每個(gè)值。
Pandas包括了非常豐富的矢量化函數(shù)庫(kù)，我們可把整個(gè)series（列）作為參數(shù)傳遞，對(duì)整個(gè)鏈表進(jìn)行計(jì)算。Pandas series 的矢量化方式實(shí)現(xiàn)代碼如下：
#Pandas series 的矢量化方式
df_stockload['signal'] = np.sign(df_stockload['Close']-df_stockload['Ma20'])
print(df_stockload.head())
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
"""
對(duì)于Numpy arrays的矢量化方式，由于本例的矢量化運(yùn)算中只使用了series的數(shù)值，無(wú)需使用索引等信息，因此可將series轉(zhuǎn)換為array類型，節(jié)省操作過程中的很多開銷。
我們可使用values 方法將鏈表從Pandas series轉(zhuǎn)換為NumPy arrays，把NumPy array作為參數(shù)傳遞，對(duì)整個(gè)鏈表進(jìn)行計(jì)算。Numpy arrays的矢量化方式實(shí)現(xiàn)代碼如下：
#Numpy arrays的矢量化方式
df_stockload['signal'] = np.sign(df_stockload['Close'].values-df_stockload['Ma20'].values)
print(df_stockload.head())
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
"""
執(zhí)行效率對(duì)比
#使用timeit方法對(duì)比方法參考例程如下，需要import timeit模塊：
from timeit import timeit
def test1():
? ? forin_looping(df_stockload)
def test2():
? ? iterrows_loopiter(df_stockload)
def test3():
? ? df_stockload['signal'] = df_stockload.apply(lambda row: (np.sign(row['Close'] - row['Ma20'])), axis=1)
def test4():
? ? df_stockload['signal'] = np.sign(df_stockload['Close']-df_stockload['Ma20'])
def test5():
? ? df_stockload['signal'] = np.sign(df_stockload['Close'].values - df_stockload['Ma20'].values)
#for..in循環(huán)迭代方式
t1 = timeit('test1()', 'from __main__ import test1', number=100)
#iterrows()遍歷方式
t2 = timeit('test2()', 'from __main__ import test2', number=100)
#apply()方法循環(huán)方式
t3 = timeit('test3()', 'from __main__ import test3', number=100)
#Pandas series 的矢量化方式
t4 = timeit('test4()', 'from __main__ import test4', number=100)
#Numpy arrays的矢量化方式：
t5 = timeit('test5()', 'from __main__ import test5', number=100)
print(t1,t2,t3,t4,t5)
#14.943237108999998 8.827773373 0.5511996379999999 0.02215727200000117 0.012933490000001768總結(jié)
可以看出循環(huán)執(zhí)行的速度是最慢的，iterrows()針對(duì)Pandas的dataframe進(jìn)行了優(yōu)化，相比直接循環(huán)有顯著提升。apply()方法也是在行之間進(jìn)行循環(huán)，但由于利用了類似Cython的迭代器的一系列全局優(yōu)化，其效率要比iterrows高很多。
NumPy arrays的矢量化運(yùn)行速度最快，其次是Pandas series矢量化。
由于矢量化是同時(shí)作用于整個(gè)序列的，可以節(jié)省更多的時(shí)間，相比使用標(biāo)量操作更好，NumPy使用預(yù)編譯的C代碼在底層進(jìn)行優(yōu)化，同時(shí)也避免了Pandas series操作過程中的很多開銷，例如索引、數(shù)據(jù)類型等等，因此，NumPy arrays的操作要比Pandas series快得多。
到此這篇關(guān)于python df遍歷的N種方式(小結(jié))的文章就介紹到這了,更多相關(guān)python df遍歷內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python調(diào)用matplotlib模塊繪制柱狀圖
這篇文章主要為大家介紹了python調(diào)用matplotlib模塊繪制柱狀圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-10-10
本篇文章通過圖文實(shí)例的方式給大家詳細(xì)分析了Python讀取文件時(shí)的路徑問題，對(duì)此有需求的朋友可以參考學(xué)習(xí)下。2018-02-02
Pyspider中給爬蟲偽造隨機(jī)請(qǐng)求頭的實(shí)例
今天小編就為大家分享一篇Pyspider中給爬蟲偽造隨機(jī)請(qǐng)求頭的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
下面小編就為大家?guī)硪黄率秩绾慰焖偃腴TPython(菜鳥必看篇)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-06-06
python通過函數(shù)名調(diào)用函數(shù)的幾種方法總結(jié)
今天帶大家學(xué)習(xí)的是怎么使用python通過函數(shù)名調(diào)用函數(shù),文中對(duì)python通過函數(shù)名調(diào)用函數(shù)的幾種方法有非常詳細(xì)的介紹,需要的朋友可以參考下2021-06-06
Keras存在自定義loss或layer怎樣解決load_model報(bào)錯(cuò)問題
這篇文章主要介紹了Keras存在自定義loss或layer怎樣解決load_model報(bào)錯(cuò)問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09
Python?運(yùn)算符Inplace?與Standard?
這篇文章主要介紹了Python?運(yùn)算符Inplace?與Standard，nplace運(yùn)算符的行為類似于普通運(yùn)算符，只是它們?cè)诳勺兒筒豢勺兡繕?biāo)的情況下以不同的方式運(yùn)行2022-09-09
凱撒密碼（Caesar 密碼）是最早的代換密碼,也是古典對(duì)稱密碼體制的典型代表,已經(jīng)初步體現(xiàn)出近代密碼系統(tǒng)的雛形,這篇文章主要給大家介紹了關(guān)于Python移位密碼、仿射變換解密的相關(guān)資料,需要的朋友可以參考下2021-06-06
Flask框架利用Echarts實(shí)現(xiàn)繪制圖形
echarts是百度推出的一款開源的基于JavaScript的可視化圖表庫(kù)，該開發(fā)庫(kù)目前發(fā)展非常不錯(cuò)，且支持各類圖形的繪制可定制程度高。如下演示案例中，將分別展示運(yùn)用該繪圖庫(kù)如何前后端交互繪制（餅狀圖，柱狀圖，折線圖）這三種最基本的圖形，需要的可以參考一下2022-10-10
Python中Windows和macOS文件路徑格式不一致的解決方法
在 Python 中,Windows 和 macOS 的文件路徑字符串格式不一致主要體現(xiàn)在路徑分隔符上,這種差異可能導(dǎo)致跨平臺(tái)代碼在處理文件路徑時(shí)出錯(cuò),下面我們看看如何解決吧2025-03-03