返回顶部
首页 > 资讯 > 后端开发 > Python >支持PyTorch的einops张量操作神器用法示例详解
  • 687
分享到

支持PyTorch的einops张量操作神器用法示例详解

2024-04-02 19:04:59 687人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

目录基础用法高级用法 今天做visual transfORMer研究的时候,发现了einops这么个神兵利器,决定大肆安利一波。 先看链接:https://GitHub.c

今天做visual transfORMer研究的时候,发现了einops这么个神兵利器,决定大肆安利一波。

先看链接:https://GitHub.com/aroGozhnikov/einops

安装:


pip install einops

基础用法

einops的强项是把张量的维度操作具象化,让开发者“想出即写出”。举个例子:


from einops import rearrange
 
# rearrange elements according to the pattern
output_tensor = rearrange(input_tensor, 'h w c -> c h w')

用'h w c -> c h w'就完成了维度调换,这个功能与PyTorch中的permute相似。但是,einops的rearrange玩法可以更高级:


from einops import rearrange
import torch
 
a = torch.randn(3, 9, 9)  # [3, 9, 9]
output = rearrange(a, 'c (r p) w -> c r p w', p=3)
print(output.shape)   # [3, 3, 3, 9]

这就是高级用法了,把中间维度看作r×p,然后给出p的数值,这样系统会自动把中间那个维度拆解成3×3。这样就完成了[3, 9, 9] -> [3, 3, 3, 9]的维度转换。

这个功能就不是pytorch的内置功能可比的。

除此之外,还有reduce和repeat,也是很好用。


from einops import repeat
import torch
 
a = torch.randn(9, 9)  # [9, 9]
output_tensor = repeat(a, 'h w -> c h w', c=3)  # [3, 9, 9]

指定c,就可以指定复制的层数了。

再看reduce:


from einops import reduce
import torch
 
a = torch.randn(9, 9)  # [9, 9]
output_tensor = reduce(a, 'b c (h h2) (w w2) -> b h w c', 'mean', h2=2, w2=2)

这里的'mean'指定池化方式。 相信你看得懂,不懂可留言提问~

高级用法 

einops也可以嵌套在pytorch的layer里,请看:


# example given for pytorch, but code in other frameworks is almost identical  
from torch.nn import Sequential, Conv2d, MaxPool2d, Linear, ReLU
from einops.layers.torch import Rearrange
 
model = Sequential(
    Conv2d(3, 6, kernel_size=5),
    MaxPool2d(kernel_size=2),
    Conv2d(6, 16, kernel_size=5),
    MaxPool2d(kernel_size=2),
    # flattening
    Rearrange('b c h w -> b (c h w)'),  
    Linear(16*5*5, 120), 
    ReLU(),
    Linear(120, 10), 
)

这里的Rearrange是nn.module的子类,直接可以当作网络层放到模型里~

一个字,绝。

以上就是支持PyTorch的einops张量操作神器用法示例详解的详细内容,更多关于einops张量操作用法的资料请关注编程网其它相关文章!

--结束END--

本文标题: 支持PyTorch的einops张量操作神器用法示例详解

本文链接: https://lsjlt.com/news/156107.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作