pandas（一）

import numpy as py 

import pandas as pd

 

Series对象

data= pd.Series([0.25,0.5,0.75,1.0])   默认索引是数字

data=pd.Series([0.25,0.5,0.75,1.0],index=['a','b','c','d'])   用字符串定义索引，也可以用不连续的索引

data['b']   

data['a':'c']  支持切片操作

 

pd.Series(data,index=index)

 

data可以是列表或numpy数组

pd.Series([2,4,6])

也可以是标量，创建时会重复填充到每个索引上

pd.Series([5,index=[100,200,300])

也可以是字典，index默认是字典的键

pd.Series({2:'a',3:'b'})

 

series的字典式映射方法

 data=pd.Series([0.25,0.5,0.75,1.0],

　　　　　　　　index=['a','b','c','d'

　　　　　　)

判断data中是否有a索引

'a' in data

获取data索引

data.keys()

获取所有数据

list(data.items())

增加新索引

data['e']=10.25

切片:

　　显示索引做切片,包含最后一个值

　　data['a':'c']

　　隐式整数索引做切片，不包含年最后一个值

　　data[0:2]

掩码：

　　data[(data>0.3) & (data<0.7)]

花哨索引：

　　data[['a,'e']]

 

索引器：为了防止series为整数索引是，取值为显式索引，切片为隐式索引而混淆

 

　　loc:表示取值和切片都是显式

　　data=pd.Series(['a','b','c'],index=[1,3,5])

　　data.loc[1]

　　data.loc[1:3]

 

　　iloc:表示取值和切片都是隐式

　　data.iloc[1]

　　data.iloc[0:2]

 

 

　　

 

 

 

DataFrame对象

通过字典列表创建

　　data=[{'a':i,'b':2*i} for i in range(3)]

　　x=pd.DataFrame(data)

通过series对象创建

　　pd.DataFrame({'data':data,'age':[1,2,3,4]) 

*注意此处data是前面series创建好的有索引的对象

通过numpy创建

pd.DataFrame(np.random.rand(3,2),

　　　　　　columns=['name','age'],

　　　　　　index=['a','b','c']

　　　　　　)

x.index获取行索引标签，x.columns获取列索引标签

 

pandas 的index对象

创建对象

ind=pd.Index([2,5,6,7,11])

切片，索引

ind[1],ind[::2]

inda=pd.Index([1,3,5,7,9])

indb=pd.Index([2,3,5,7,11])

交集

inda & indb 

并集

inda | indb

异或

inda ^ indb

 

DataFrame数据选择方法

 

name = pd.Series({'a':'xi','b':'lin','c':'saber'})

age = pd.Series({'a':18,'b':20,'c':'18'})

data = pd.DataFrame({'name':name,'age':age})

 

data['name'] 等价于data.name,推荐前者

data.values  查看数组数据

data.values[0] 查看第一行数据

data.T 转置

 

loc,iloc与series对象中的用法相同

data.loc[:'lin',:'age']

data.iloc[:3,:2]

ix混合使用,不常用

data.ix[:3,:'age']

与掩码和花哨索引结合使用

data.loc[data.age>18,['name','age']]

更新数据

data[0,1]= 20

numpy通用函数pandas也适用

 

当用两个series对象创建dataframe对象时，会取两个对象的并集，没有的用nan代替

两个dataframe运算时也适用

也可以自定义缺失值

a=pd.DataFrame(np.random.randint(0,20,(2,2)),

　　　　　　　　columns=list('ab'))

b=pd.DataFrame(np.random.randint(0,10,(3,3)),

　　　　　　　　columns=list('bca'))

fill = a.stack().mean()

a.add(b,fill_value=fill)   a的缺失值用fill填充

 

缺失值处理：

　　常用标签nan（not a number）

　　val = np.array([1,np.nan,3,4])

　　val.sum,max,min  会将nan的影响算进去

　　np.nansum(val) ，nanmax，nanmin 忽略nan的影响

　　

　　data= pd.Series([1,np.nan,'hello',None])

　　发现缺失值：

　　data.isnull()   

　　data[data.notnull()]     

　　剔除缺失值：

　　data.dropna()

　　df = pd.DataFrame([[1,np.nan,2],

　　　　　　　　　　　[2,3,5],

　　　　　　　　　　　[np.nan,4,6]])

　　df.dropna()    删除含有缺失值的整行数据   ,axis=1或axis='columns' 删除整列数据

　　df[3] = np.nan

　　df.dropna(axis='columns',how='all)   all表示删除全是缺失值的那行，any表示有缺失值就删除

　　df.dropna(axis='row',thresh=3)  表示最少含有3个非缺失值的行才会被保留

 

　　填充缺失值：

　　data=pd.Series([1,np.nan,2,None,3],index=list('avcde'))

　　data.fillna(0)  缺失值用0填充

　　data.fillna(method='ffill')  用缺失值前面的有效值填充，bfill用后面的有效值填充

　　data.fillna(method='ffill',axis=1)  每行的前面有效值填充

　　如果缺失值前面没有值，那么仍然是缺失值