返回顶部
首页 > 资讯 > 后端开发 > Python >pandas库之DataFrame滑动窗口的实现
  • 907
分享到

pandas库之DataFrame滑动窗口的实现

pandasDataFrame滑动窗口pandas滑动窗口 2023-05-13 20:05:49 907人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

目录(1)DataFrame的滑动窗口Example(2)pandas的窗口操作Rolling windowCentering windowsRolling applyWeighte

(1)DataFrame的滑动窗口

提供滑动窗口计算,可用于时间序列(时间和日期)数据

DataFrame.rolling(window, min_periods=None, center=False, win_type=None, on=None, axis=0, closed=None, method='single')

参数:

window:int, offset, or BaseIndexer subclass
移动窗口的大小,如果是整数,代表每个窗口覆盖的固定数量;如果是offset(pandas时间序列),代表每个窗口的时间段,每个窗口的大小将根据时间段中包含的观察值而变化,仅对datetimelike索引有效。

min_periods:int, default None
窗口计算值要求至少有min_periods个观测值。窗口由时间类型指定,则min_periods默认为1,窗口为整数,则min_periods默认为窗口大小

center:bool, default False
是否将窗口中间索引设为窗口计算后的标签

win_type:str, default None
观测值的权重分布。如果为None,则所有点的权重均相等。如果是字符串,要求是 scipy.signal window function函数

on:str, optional
对于 DataFrame,计算滚动窗口所依照的列标签或索引级别,而不是 DataFrame 的索引

axis:int or str, default 0
如果是0或’index’,按行滚动;如果是1或’columns’,按列滚动

closed:str, default None
‘right’:窗口中的第一个点将从计算中排除;‘left‘:窗口中的最后一个点将从计算中排除;‘both’:窗口中没有点将从计算中排除;‘neither’:窗口中的第一个点和最后一个点将从计算中排除;默认’right’

Example

窗口大小为2的求和

>>> import pandas as pd
>>> import numpy as np
>>> df = pd.DataFrame({'B':[0,1,2,np.nan,4]})
>>> df
     B
0  0.0
1  1.0
2  2.0
3  NaN
4  4.0
>>> df.rolling(2).sum()
     B
0  NaN
1  1.0
2  3.0
3  NaN
4  NaN

窗口为2s的求和

>>> df_time = pd.DataFrame({'B':[0,1,2,np.nan,4]},
		       index = [
		       pd.Timestamp('20130101 09:00:00'),
			   pd.Timestamp('20130101 09:00:02'),
			   pd.Timestamp('20130101 09:00:03'), 
			   pd.Timestamp('20130101 09:00:05'),
			   pd.Timestamp('20130101 09:00:06')])
			                                                   
>>> df_time
                       B
2013-01-01 09:00:00  0.0
2013-01-01 09:00:02  1.0
2013-01-01 09:00:03  2.0
2013-01-01 09:00:05  NaN
2013-01-01 09:00:06  4.0

>>> df_time.rolling('2s').sum()
                       B
2013-01-01 09:00:00  0.0
2013-01-01 09:00:02  1.0
2013-01-01 09:00:03  3.0
2013-01-01 09:00:05  NaN
2013-01-01 09:00:06  4.0

有 2 个观测值的前视窗口的滚动求和(a和a+1)

# 设置前向窗口
>>> indexer = pd.api.indexers.FixedForwardWindowIndexer(window_size=2)
>>> df = pd.DataFrame({'B': [0, 1, 2, np.nan, 4]})
>>> df.rolling(window=indexer,min_periods=1).sum()
     B
0  1.0
1  3.0
2  2.0
3  4.0
4  4.0

窗口长度为 2 个观测值的滚动和,但至少需要 1 个观测值才可计算值

>>> df.rolling(2,min_periods=1).sum()
     B
0  0.0
1  1.0
2  3.0
3  2.0
4  4.0

滚动总和,并将结果分配到窗口索引的中心

>>> df.rolling(3, min_periods=1, center=True).sum()
     B
0  1.0
1  3.0
2  3.0
3  6.0
4  4.0
>>> df.rolling(3, min_periods=1, center=False).sum()
     B
0  0.0
1  1.0
2  3.0
3  3.0
4  6.0

高斯分布窗口

>>> df.rolling(2,win_type='gaussian').sum(std=3)
          B
0       NaN
1  0.986207
2  2.958621
3       NaN
4       NaN

(2)pandas的窗口操作

窗口由从当前观测值回溯窗口长度组成

>>> import pandas as pd
>>> s = pd.Series(range(5))
>>> s
0    0
1    1
2    2
3    3
4    4
dtype: int64

# 5个分区
>>> for window in s.rolling(window=2):
	print(window)

	
0    0
dtype: int64
0    0
1    1
dtype: int64
1    1
2    2
dtype: int64
2    2
3    3
dtype: int64
3    3
4    4
dtype: int64

panadas支持4种窗口操作

  • Rolling window:值的固定/变动的滑动窗口
  • Weighted window:由 scipy.signal 库提供的加权非矩形窗口
  • Expanding window:值的累积窗口
  • Exponentially Weighted window:值的累积和指数加权窗

在这里插入图片描述

其中滑动窗口支持时间序列的计算

>>> s = pd.Series(range(5),index = pd.date_range('2020-01-01',periods=5,freq='1D'))
>>> s
2020-01-01    0
2020-01-02    1
2020-01-03    2
2020-01-04    3
2020-01-05    4
Freq: D, dtype: int64
>>> s.rolling(window='2D').sum()
2020-01-01    0.0
2020-01-02    1.0
2020-01-03    3.0
2020-01-04    5.0
2020-01-05    7.0
Freq: D, dtype: float64

部分窗口支持先分组再执行窗口操作

>>> df = pd.DataFrame({'A':['a', 'b', 'a', 'b', 'a'],'B':range(5)})
>>> df
   A  B
0  a  0
1  b  1
2  a  2
3  b  3
4  a  4
>>> df.groupby('A').expanding().sum()
       B
A       
a 0  0.0
  2  2.0
  4  6.0
b 1  1.0
  3  4.0

Rolling window

>>> times = ['2020-01-01', '2020-01-03', '2020-01-04', '2020-01-05', '2020-01-29']
>>> s = pd.Series(range(5),index = pd.DatetimeIndex(times))
>>> s
2020-01-01    0
2020-01-03    1
2020-01-04    2
2020-01-05    3
2020-01-29    4
dtype: int64

# 两个观测值的窗口
>>> s.rolling(2).sum()
2020-01-01    NaN
2020-01-03    1.0
2020-01-04    3.0
2020-01-05    5.0
2020-01-29    7.0
dtype: float64

# 两天的窗口
>>> s.rolling('2D').sum()
2020-01-01    0.0
2020-01-03    1.0
2020-01-04    3.0
2020-01-05    5.0
2020-01-29    4.0
dtype: float64

Centering windows

窗口计算后默认标签是窗口的最后一个,center可以使中间索引作为标签

>>> s = pd.Series(range(10))
>>> s.rolling(window=5).mean()
0    NaN
1    NaN
2    NaN
3    NaN
4    2.0
5    3.0
6    4.0
7    5.0
8    6.0
9    7.0
dtype: float64
>>> s.rolling(window=5, center=True).mean()
0    NaN
1    NaN
2    2.0
3    3.0
4    4.0
5    5.0
6    6.0
7    7.0
8    NaN
9    NaN
dtype: float64

Rolling apply

自定义窗口计算公式

>>> import numpy as np
>>> def mad(x):
	return np.fabs(x - x.mean()).mean()

>>> s = pd.Series(range(10))
>>> s.rolling(window=4).apply(mad, raw=True)
0    NaN
1    NaN
2    NaN
3    1.0
4    1.0
5    1.0
6    1.0
7    1.0
8    1.0
9    1.0
dtype: float64

Weighted window

为窗口中的值添加权重

>>> s = pd.Series(range(10))
>>> s.rolling(window=5, win_type="gaussian").mean(std=0.1)
0    NaN
1    NaN
2    NaN
3    NaN
4    2.0
5    3.0
6    4.0
7    5.0
8    6.0
9    7.0
dtype: float64

到此这篇关于pandas库之DataFrame滑动窗口的实现的文章就介绍到这了,更多相关pandas DataFrame滑动窗口内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: pandas库之DataFrame滑动窗口的实现

本文链接: https://lsjlt.com/news/202693.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • pandas库之DataFrame滑动窗口的实现
    目录(1)DataFrame的滑动窗口Example(2)pandas的窗口操作Rolling windowCentering windowsRolling applyWeighte...
    99+
    2023-05-13
    pandas DataFrame滑动窗口 pandas 滑动窗口
  • pandas库之DataFrame滑动窗口如何实现
    今天小编给大家分享一下pandas库之DataFrame滑动窗口如何实现的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。(1)...
    99+
    2023-07-05
  • pandas如何实现滑动窗口
    今天小编给大家分享一下pandas如何实现滑动窗口的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。介绍窗口函数(Window ...
    99+
    2023-07-05
  • pandas实现滑动窗口的示例代码
    目录介绍示例数据移动平均值移动总和最大值和最小值结论介绍 窗口函数(Window Function)是一种在关系型数据库中使用的函数,通常用于计算某个范围内的数据。在数据分析中,窗口...
    99+
    2023-05-13
    pandas 滑动窗口
  • Java 滑动窗口最大值的实现
    一、题目 给你一个整数数组 nums,有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回滑动窗口...
    99+
    2024-04-02
  • redis zset实现滑动窗口限流的代码
    目录限流redis zset特性滑动窗口算法java代码实现补充:Redis zSet实现滑动窗口对短信进行防刷限流前言示例代码限流 需求背景:同一用户1分钟内登录失败次数超过3次,...
    99+
    2024-04-02
  • Pandas实现Dataframe的合并
    目录简介使用concat使用append使用merge使用join覆盖数据简介 Pandas提供了很多合并Series和Dataframe的强大的功能,通过这些功能可以方便的进行数据...
    99+
    2024-04-02
  • golang实现时间滑动窗口的示例代码
    目录一 概念二 go-zero中的滑动窗口实现1.Bucket 样本窗口2. window 滑动窗口3. RollingWindow窗口三 使用一 概念 固定窗口...
    99+
    2024-04-02
  • Java C++分别实现滑动窗口的最大值
    目录1、题目2、思路3、c++代码4、java代码1、题目 给定一个数组 nums 和滑动窗口的大小 k,请找出所有滑动窗口里的最大值。 示例: 提示: 你可以假设 k 总是有效的...
    99+
    2024-04-02
  • Android实现左滑关闭窗口
    前言 目前市场很多的APP都带有窗口滑动切换关闭,这种切换,使得用户操作比较爽,而且觉得功能点上也比较大气,在此就是自己总结了一个简易的方法,直接替换在基础窗口里面,使用安卓最基础的...
    99+
    2024-04-02
  • ASP.NET Core基于滑动窗口实现限流控制
    目录前言:二、固定窗口算法三、滑动窗口算法四、实现六、使用结论:前言: 在实际项目中,为了保障服务器的稳定运行,需要对接口的可访问频次进行限流控制,避免因客户端频繁请求导致服务器压力...
    99+
    2024-04-02
  • Pandas检查dataFrame中的NaN实现
    目录检查Pandas DataFrame中的NaN值方法1:使用isnull().values.any()方法方法2:使用isnull().sum()方法方法3:使用isnull()...
    99+
    2023-01-28
    Pandas dataFrame NaN
  • pandas将Series转成DataFrame的实现
    目录1.Series结构2.将Series转成DataFrame2.1 使用字典的方式转化2.2 使用reset_index方法3.apply,applymap, map1.Seri...
    99+
    2023-01-17
    pandas Series转成DataFrame pandas Series DataFrame
  • ASP.NET Core基于滑动窗口实现限流控制的方法
    今天小编给大家分享一下ASP.NET Core基于滑动窗口实现限流控制的方法的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解...
    99+
    2023-06-29
  • Pandas实现Dataframe的重排和旋转
    目录简介使用Pivot使用Stack使用melt使用Pivot tables使用crosstabget_dummies简介 使用Pandas的pivot方法可以将DF进行旋转变换,本...
    99+
    2024-04-02
  • 如何使用Pandas实现MySQL窗口函数
    今天小编给大家分享一下如何使用Pandas实现MySQL窗口函数的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。一、前言环境:...
    99+
    2023-07-05
  • pandas中DataFrame检测重复值的实现
    本文详解如何使用pandas查看dataframe的重复数据,判断是否重复,以及如何去重 DataFrame.duplicated(subset=None, keep='firs...
    99+
    2024-04-02
  • 使用Pandas实现MySQL窗口函数的解决方法
    目录一、前言二、语法对比数据表row_number()lead()/lag()rank()/dense_rank()first_value()count()/sum()三、小结一、前...
    99+
    2023-02-22
    Pandas 窗口函数 Pandas mysql窗口函数
  • pandas取dataframe特定行列的实现方法
    1.按列取、按索引/行取、按特定行列取 import numpy as np from pandas import DataFrame import pandas as pd ...
    99+
    2024-04-02
  • pandas Dataframe实现批量修改值的方法
    目录1.使用iloc对数据进行批量修改2.对数据进行判定后,相互+/-/某个数*第一种方法:使用内置函数where函数第二种方法:使用mask函数第三种方法:replace...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作