新聞中心
這篇文章主要講解了“常用的python Pandas函數(shù)有哪些”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“常用的python Pandas函數(shù)有哪些”吧!
專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)米脂免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了數(shù)千家企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
Pandas是一個python數(shù)據(jù)分析庫。它提供了許多函數(shù)和方法來加快數(shù)據(jù)分析過程。pandas之所以如此普遍,是因為它具有強大的功能,以及他簡單的語法和靈活性。
在這篇文章中,我將舉例來解釋20個常用的pandas函數(shù)。有些是很常見的,我敢肯定你以前用過。有些對你來說可能是新的。所有函數(shù)都將為你的數(shù)據(jù)分析過程增加價值。
import numpy as np import pandas as pd
1.query
我們有時需要根據(jù)條件過濾一個數(shù)據(jù)幀。過濾數(shù)據(jù)幀的一個簡單方法是query函數(shù)。讓我們首先創(chuàng)建一個示例數(shù)據(jù)幀。
values_1 = np.random.randint(10, size=10) values_2 = np.random.randint(10, size=10) years = np.arange(2010,2020) groups = ['A','A','B','A','B','B','C','A','C','C'] df = pd.DataFrame({'group':groups, 'year':years, 'value_1':values_1, 'value_2':values_2}) df
使用查詢函數(shù)非常簡單,只需要編寫過濾條件。
df.query('value_1 < value_2')
2.insert
當(dāng)我們想向dataframe添加一個新列時,默認(rèn)情況下會在末尾添加它。但是,pandas提供了使用insert函數(shù)使得我們可以在任何位置添加新列。
我們需要通過傳遞索引作為第一個參數(shù)來指定位置。此值必須是整數(shù)。列索引從零開始,就像行索引一樣。第二個參數(shù)是列名,第三個參數(shù)是對象,這些對象可以是Series或數(shù)組。
#新建列 new_col = np.random.randn(10) #在位置2插入新列 df.insert(2, 'new_col', new_col) df
3.Cumsum
數(shù)據(jù)幀包含3個不同組的年份值。我們可能只對某些情況下的累積值感興趣。Pandas提供了一個易于使用的函數(shù)來計算累計和,即cumsum。
如果我們只應(yīng)用cumsum函數(shù),group里的(A,B,C)將被忽略,因為我們無法區(qū)分不同的組。我們可以應(yīng)用groupby和cumsum函數(shù),這樣就可以區(qū)分出不同的組。
df['cumsum_2'] = df[['value_2','group']].groupby('group').cumsum() df
4.Sample
Sample方法允許你從序列或數(shù)據(jù)幀中隨機(jī)選擇值。當(dāng)我們想從一個分布中選擇一個隨機(jī)樣本時,它很有用。
sample1 = df.sample(n=3) sample1
我們用n參數(shù)指定值的數(shù)目,但我們也可以將比率傳遞給frac參數(shù)。例如,0.5將返回一半的行。
sample2 = df.sample(frac=0.5) sample2
為了獲得可重復(fù)的樣本,我們可以使用隨機(jī)的狀態(tài)參數(shù)。如果將整數(shù)值傳遞給random_state,則每次運行代碼時都將生成相同的示例。
5. Where
“Where”用于根據(jù)條件替換行或列中的值。默認(rèn)的替換值是NaN,但是我們也可以指定替換的值。
df['new_col'].where(df['new_col'] > 0 , 0)
“where”的工作方式是選擇符合條件的值,其余值替換為指定值。
**where(df[‘new_col’]>0, 0)**選擇“new_col”中大于0的所有值,其余值替換為0。因此,這里也可以視為掩碼操作。
重要的一點是,Pandas 和Numpy的“where”并不完全相同。我們可以用稍微不同的語法來達(dá)到相同的效果。DataFrame.where按原數(shù)據(jù)選擇符合條件的值,其他值將替換為指定的值。Np.where還需要指定一個新數(shù)據(jù)。以下兩行返回相同的結(jié)果:
df['new_col'].where(df['new_col'] > 0 , 0) np.where(df['new_col'] < 0, df['new_col'], 0)
6.Isin
在處理數(shù)據(jù)幀時,我們經(jīng)常使用過濾或選擇方法。Isin方法是一種先進(jìn)的過濾方法。例如,我們可以根據(jù)選擇列表過濾值。
years = ['2010','2014','2017'] df[df.year.isin(years)]
7.Loc and iloc
Loc和iloc用于選擇行和列。
loc:按標(biāo)簽選擇
iloc:按位置選擇
loc用于按標(biāo)簽選擇數(shù)據(jù)。列的標(biāo)簽是列名。行標(biāo)簽要分情況,如果我們不分配任何特定的索引,pandas默認(rèn)創(chuàng)建整數(shù)索引。iloc按位置索引數(shù)據(jù)
使用iloc選擇前3行和前2列:
使用loc選擇前3行和前2列:
注:當(dāng)使用loc時,切片得到的結(jié)果包括索引的邊界,而使用iloc則不包括這些邊界。
8.Pct_change
此函數(shù)用于計算一系列值的變化百分比。假設(shè)我們有一個包含[2,3,6]的序列。如果我們對這個序列應(yīng)用pct_change,則返回的序列將是[NaN,0.5,1.0]。
從第一個元素到第二個元素增加了50%,從第二個元素到第三個元素增加了100%。Pct_change函數(shù)用于比較元素時間序列中的變化百分比。
df.value_1.pct_change()
9.Rank
Rank函數(shù)為值分配序。假設(shè)我們有一個包含[1,7,5,3]的序列s。分配給這些值的序為[1,4,3,2]。可以用這些序作排序操作
df['rank_1'] = df['value_1'].rank() df
10.Melt
Melt用于將寬數(shù)據(jù)幀轉(zhuǎn)換為窄數(shù)據(jù)幀。我所說的wide是指具有大量列的數(shù)據(jù)幀。
一些數(shù)據(jù)幀的結(jié)構(gòu)是連續(xù)的度量或變量用列表示。在某些情況下,將這些列表示為行可能更適合我們的任務(wù)。考慮以下數(shù)據(jù)幀:
我們有三個不同的城市,在不同的日子進(jìn)行測量。我們決定將這些日子表示為列中的行。還將有一列顯示測量值。我們可以通過使用Melt函數(shù)輕松實現(xiàn):
df_wide.melt(id_vars=['city'])
默認(rèn)情況下,會給出變量和值列名。我們可以使用melt函數(shù)的var_name和value_name參數(shù)來指定新的列名。
11.Explode
假設(shè)你的數(shù)據(jù)集在一個觀測(行)中包含一個要素的多個條目,但你希望在單獨的行中分析它們。
我們想在不同的行上看到“day"1在ID為c上的測量值,用explode來完成。
df1.explode('measurement').reset_index(drop=True)
12.Nunique
Nunique統(tǒng)計列或行上的唯一條目數(shù)。它在分類特征中非常有用,特別是在我們事先不知道類別數(shù)量的情況下。讓我們看看我們的初始數(shù)據(jù)幀:
df.year.nunique() 10 df.group.nunique() 3
我們可以直接將nunique函數(shù)應(yīng)用于dataframe,并查看每列中唯一值的數(shù)量:
如果axis參數(shù)設(shè)置為1,nunique將返回每行中唯一值的數(shù)目。
13.lookup
它可以用于根據(jù)其他行-列對上的值在數(shù)據(jù)幀中查找值。假設(shè)我們有以下數(shù)據(jù)幀:
每天,我們有4個人的測量數(shù)據(jù)和一個列,其中包括這4個人的名字。
我們要創(chuàng)建一個新列,該列顯示“person”列中人員對應(yīng)他們的度量。因此,對于第一行,新列中的值將是4(“Alex”列中的值)。
df['Person_point'] = df.lookup(df.index, df['Person']) df
14.Infer_objects
Pandas支持廣泛的數(shù)據(jù)類型,其中之一就是object。對象包含文本或混合(數(shù)字和非數(shù)字)值。
但是,如果有其他選項可用,則不建議使用對象數(shù)據(jù)類型。使用更具體的數(shù)據(jù)類型,某些操作執(zhí)行得更快。例如,對于數(shù)值,我們更喜歡使用整數(shù)或浮點數(shù)據(jù)類型。
infer_objects嘗試為對象列推斷更好的數(shù)據(jù)類型。考慮以下數(shù)據(jù)幀:
df2.dtypes A object B object C object D object dtype: object
所有的數(shù)據(jù)類型都是object。讓我們看看推斷的數(shù)據(jù)類型是什么:
df2.infer_objects().dtypes A int64 B float64 C bool D object dtype: object
它可能看起來沒什么用,但在有很多列時絕對有用。
15.Memory_usage
Memory_usage返回每行使用的內(nèi)存量(以字節(jié)為單位)。它非常有用,尤其是當(dāng)我們處理大型數(shù)據(jù)幀時。考慮下面的數(shù)據(jù)幀,其中有一百萬行。
df_large = pd.DataFrame({'A': np.random.randn(1000000), 'B': np.random.randint(100, size=1000000)}) df_large.shape (1000000, 2)
以及每列的內(nèi)存使用情況(以字節(jié)為單位):
df_large.memory_usage() Index 128 A 8000000 B 8000000 dtype: int64
整個數(shù)據(jù)幀的內(nèi)存使用量(MB):
df_large.memory_usage().sum() / (1024**2) 15.2589111328125
16.Describe
描述函數(shù)計算數(shù)字列的基本統(tǒng)計信息,這些列包括計數(shù)、平均值、標(biāo)準(zhǔn)差、最小值和最大值、中值、第一個和第三個四分位數(shù)。因此,它提供了數(shù)據(jù)幀的統(tǒng)計摘要。
17.Merge
Merge()根據(jù)共享列中的值組合數(shù)據(jù)幀。考慮以下兩個數(shù)據(jù)幀。
我們可以根據(jù)列中的共享值合并它們。設(shè)置合并條件的參數(shù)是“on”參數(shù)。
df1和df2是基于column_a中的公共值進(jìn)行合并的,merge函數(shù)的how參數(shù)允許以不同的方式組合數(shù)據(jù)幀。“內(nèi)部”、“外部”、“左側(cè)”、“右側(cè)”的可能值。
inner:僅在on參數(shù)指定的列中具有相同值的行(how參數(shù)的默認(rèn)值)
outer:所有行
left:左數(shù)據(jù)幀中的所有行
right:右數(shù)據(jù)幀中的所有行
類似于sql語句中的join
18.Select_dtypes
Select_dtypes函數(shù)根據(jù)對數(shù)據(jù)類型設(shè)置的條件返回數(shù)據(jù)幀列的子集。它允許使用include和exlude參數(shù)包含或排除某些數(shù)據(jù)類型。
df.select_dtypes(include='int64')
df.select_dtypes(exclude='int64')
19.replace
顧名思義,它允許替換數(shù)據(jù)幀中的值。
df.replace('A', 'A_1')
第一個參數(shù)是要替換的值,第二個參數(shù)是新值。
我們也可以在一個字典中同時進(jìn)行多個替換。
df.replace({'A':'A_1', 'B':'B_1'})
20.Applymap
Applymap函數(shù)用于將函數(shù)應(yīng)用于dataframe元素。
請注意,如果操作的向量化版本可用,那么它應(yīng)該優(yōu)先于applymap。例如,如果我們想將每個元素乘以一個數(shù)字,我們不需要也不應(yīng)該使用applymap函數(shù)。在這種情況下,簡單的向量化操作(例如df*4)要快得多。
然而,在某些情況下,我們可能無法選擇向量化操作。例如,我們可以使用pandas dataframes的Style屬性來更改dataframe的樣式。以下函數(shù)將負(fù)值的顏色更改為紅色。
def color_negative_values(val): color = 'red' if val < 0 else 'black' return 'color: %s' % color
我們需要使用applymap函數(shù)將此函數(shù)應(yīng)用于數(shù)據(jù)幀。
df3.style.applymap(color_negative_values)
感謝各位的閱讀,以上就是“常用的python Pandas函數(shù)有哪些”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對常用的python Pandas函數(shù)有哪些這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!
本文標(biāo)題:常用的pythonPandas函數(shù)有哪些
網(wǎng)頁URL:http://www.ef60e0e.cn/article/jodgdg.html