返回顶部
首页 > 资讯 > 后端开发 > Python >1.1用图表分析单变量数据
  • 582
分享到

1.1用图表分析单变量数据

变量数据图表分析 2023-01-30 22:01:50 582人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

  单变量:表达式、方程式、函数或者一元多项式等   数据:Http://www.presidency.ucsb.edu/data/sourequests.PHP美国总统历年在国情咨文中对国会提起的诉求数量   本次使用到的数据量并不多

  单变量:表达式、方程式、函数或者一元多项式等

  数据:Http://www.presidency.ucsb.edu/data/sourequests.PHP美国总统历年在国情咨文中对国会提起的诉求数量

  本次使用到的数据量并不多,不过还是按照常规思路,通过爬虫获取。

 1 import urllib.request
 2 import re
 3 
 4 
 5 def crawler(url):
 6     headers = {
 7         "User-Agent": "Mozilla/5.0 (X11; U; linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 ubuntu/10.10 (maverick) Firefox/3.6.10"
 8     }
 9     req = urllib.request.Request(url, headers=headers)
10     response = urllib.request.urlopen(req)
11     
12     html = response.read().decode('utf-8')
13     print(type(html))
14     
15     pat = r'<tr align="center">(.*?)</tr>'
16     re_html = re.compile(pat, re.S) # re.S可以使匹配换行
17     trslist = re_html.findall(html) # 匹配出每条信息的数据
18     
19     x = []
20     y = []
21     for tr in trslist:
22         re_i = re.compile(r'<div align="center">(.*?)</div>', re.S)
23         i = re_i.findall(tr)
24         x.append(int(i[1].strip())) # 从每条数据中取出所需要的两个数据年份和诉求数量
25         y.append(int(i[2].strip()) if i[2] != '' else 0) # 当匹配到空字符串时就是数据缺失部分,用0代替
26     print(x,y) # 查看结果发现第一组和第四组数据有误,看源码发现他们两个的分类名不是使用的center标签,为了简便,手动添加这两个数据
27     x[0] = 1946
28     y[0] = 41
29     x[3] = 1949
30     y[3] = 28
31     return x, y
32     
33 url = "http://www.presidency.ucsb.edu/data/sourequests.php"
34 x, y = crawler(url)

  得到的数据:

x:[41, 1947, 1948, 28, 1950, 1951, 1952, 1953, 1954, 1955, 1956, 1957, 1958, 1959, 1960, 
1961, 1962, 1963, 1964, 1965, 1966, 1967, 1968, 1969, 1970, 1971, 1972, 1973, 1974, 1975,
1976, 1977, 1978, 1979, 1980, 1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990,
1991, 1992, 1993, 1994, 1995, 1996, 1997]
y:[16, 23, 16, 17, 20, 11, 19, 14, 39, 32, 0, 14, 0, 16, 6, 25, 24, 18, 17, 38, 31, 27, 26,
17, 21, 20, 17, 23, 16, 13, 13, 21, 11, 13, 11, 8, 8, 14, 9, 7, 5, 5, 54, 34, 18, 20, 27,
30, 22, 25, 19, 26]
1 import numpy as np
2 import matplotlib.pyplot as plt
3 from matplotlib.pylab import frange
4 
5 plt.figure(1)
6 plt.title("All data")
7 plt.plot(x, y, 'ro')
8 plt.xlabel('year')
9 plt.ylabel('No Presedential Request')

  根据获取到的数据绘制出散点图,观察其分布情况,发现有一个极大的异常点,和两个为零的异常点(获取数据时的缺失值,默认填充为0).

 1 # 使用numpy中的求分位数函数分别计算
 2 perc_25 = np.percentile(y, 25)
 3 perc_50 = np.percentile(y, 50)
 4 perc_75 = np.percentile(y, 75)
 5 print("25th Percentile = %.2f" % perc_25)
 6 print("50th Percentile = %.2f" % perc_50)
 7 print("75th Percentile = %.2f" % perc_75)
 8 
 9 '''
10 结果:
11 25th Percentile = 13.00
12 50th Percentile = 18.50
13 75th Percentile = 25.25
14 '''

  上面已经求得各分位数值,分别在图中画出来,为了在上面原始图中画出,要放在一起执行:

 1 # 在图中画出第25、50、75位的百分位水平线
 2 # ----------------------------------------
 3 plt.figure(1)
 4 plt.title("All data")
 5 plt.plot(x, y, 'ro')
 6 plt.xlabel('year')
 7 plt.ylabel('No Presedential Request')
 8 # ----------------------------------------
 9 plt.axhline(perc_25, label='25th perc', c='r')
10 plt.axhline(perc_50, label='50th perc', c='g')
11 plt.axhline(perc_75, label='75th perc', c='m')
12 plt.legend(loc='best')

 1 # 检查生成的图形中是否有异常点,若有,使用mask函数将其删除
 2 # 0是在起初获取数据时候的缺失值的填充,根据图像看到y=54的点远远高出其他,也按异常值处理
 3 y = np.array(y) # 起初发现y为0的点没有被删掉,考虑到他是对数组进行隐藏,而本来的y是个列表,因此又加了这一句,果然去掉了两个零点
 4 y_masked = np.ma.masked_where(y==0, y)
 5 y_masked = np.ma.masked_where(y_masked==54, y_masked)
 6 print(type(y),type(y_masked))
 7 
 8 '''
 9 <class 'numpy.ndarray'> <class 'numpy.ma.core.MaskedArray'>
10 '''

重新绘制图像:

 1 # 重新绘制图像
 2 plt.figure(2)
 3 plt.title("Masked data")
 4 plt.plot(x, y_masked, 'ro')
 5 plt.xlabel('year')
 6 plt.ylabel('No Presedential Request')
 7 plt.ylim(0, 60)
 8 
 9 # 在图中画出第25、50、75位的百分位的水平线
10 plt.axhline(perc_25, label='25th perc', c='r')
11 plt.axhline(perc_50, label='50th perc', c='g')
12 plt.axhline(perc_75, label='75th perc', c='m')
13 plt.legend(loc='best')
14 plt.show()

 

  得到的最后的图像,就是去除了0和54的三个异常点后的结果。

plot 

1 plt.close('all') # 关闭之前打开的所有图形
2 plt.figure(1) # 给图形编号,在绘制多个图形的时候有用
3 plt.title('All data') # 设置标题
4 plt.plot(x, y, 'ro') # "ro" 表示使用红色(r)的点(o)来绘图

百分位数

  一组n个观测值按数值大小排列。如,处于p%位置的值称第p百分位数。p=50,等价于中位数;p=0,等价于最小值;p=100,等价于最大值。

plt.axhline()

  给定y的位置,从x的最小值一直画到x的最大值
  label设置名称
  c参数设置线条颜色
  eg:perc_25 = 13.00
    plt.axhline(perc_25, label='25th perc', c='r')

legend(loc) 

  plt.legend() 是将图中一些标签显示出来
   loc参数让pyplot决定最佳放置位置,以免影响读图

numpy-mask函数 

  删除异常点
  y_masked = np.ma.masked_where(y==0, y)
  ma.masked_where函数接受两个参数,他将数组中符合条件的点进行隐藏,而不需要删除

 

--结束END--

本文标题: 1.1用图表分析单变量数据

本文链接: https://lsjlt.com/news/179827.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 1.1用图表分析单变量数据
      单变量:表达式、方程式、函数或者一元多项式等   数据:http://www.presidency.ucsb.edu/data/sourequests.php美国总统历年在国情咨文中对国会提起的诉求数量   本次使用到的数据量并不多...
    99+
    2023-01-30
    变量 数据 图表分析
  • ECharts数据图表实例分析
    这篇文章主要介绍“ECharts数据图表实例分析”,在日常操作中,相信很多人在ECharts数据图表实例分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”ECharts数据图表实例分析”的疑惑有所帮助!接下来...
    99+
    2023-06-27
  • word如何做图表数据分析图
    Word是一款文字处理软件,通常用于创建文档、设计报告和编辑文章。虽然Word并不是专门用于数据分析和制作图表的软件,但它仍然提供了...
    99+
    2023-09-09
    word
  • Golang函数的全局变量和局部变量的数据竞争分析
    Golang是一种强类型编程语言,具有高效、简洁、并发等特点,因此逐渐受到了越来越多的开发者的青睐。而在Golang的开发中,函数的全局变量和局部变量往往会涉及到数据竞争的问题。本文将从实际编码的角度,对Golang函数中全局变量和局部变量...
    99+
    2023-05-21
    Golang 全局变量 局部变量
  • Vue数据驱动表单渲染form表单的示例分析
    小编给大家分享一下Vue数据驱动表单渲染form表单的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!form-creat...
    99+
    2024-04-02
  • mysql变量用法实例分析【系统变量、用户变量】
    本文实例讲述了mysql变量用法。分享给大家供大家参考,具体如下: 本文内容: 系统变量 用户变量 局部变量 首发日期:2018-04-18 系统变量: 系统变量就是系统...
    99+
    2022-05-15
    mysql 变量 系统变量 用户变量
  • JavaScript中变量、数据类型的示例分析
    小编给大家分享一下JavaScript中变量、数据类型的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!1 如何声明变量变...
    99+
    2024-04-02
  • ORACLE数据表分析
    一、性能数据的存储过程: 性能数据的收集包含这样几个存储过程: GATHER_INDEX_STATS:分析索引信息 GATHER_TABLE_STATS:分析表信息,当ca...
    99+
    2024-04-02
  • Python中的变量和数据类型实例分析
    本篇内容介绍了“Python中的变量和数据类型实例分析”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!python是一门弱数据类型的语言,变量...
    99+
    2023-06-29
  • Vue表单事件数据绑定举例分析
    这篇文章主要讲解了“Vue表单事件数据绑定举例分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Vue表单事件数据绑定举例分析”吧!<body>   ...
    99+
    2023-06-25
  • 函数变量作用域的示例分析
    这篇文章将为大家详细讲解有关函数变量作用域的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。局部变量:在函数中,定义的变量就是局部变量,其作用范围仅限函数的内容;形参也是函数内部的变量,也是局不变量...
    99+
    2023-06-15
  • PHP5.4中语法、常量、变量、数据类型的示例分析
    这篇文章主要介绍了PHP5.4中语法、常量、变量、数据类型的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。一、php5.4的基本语法...
    99+
    2024-04-02
  • Linux 上的 Python IDE:让大数据分析变得简单!
    Python 是当今最受欢迎的编程语言之一,而 Linux 是最受欢迎的操作系统之一。如果你是一名数据分析师或者 Python 开发者,你肯定会想要一个稳定、高效的 Python IDE,而 Linux 上的 Python IDE 可以提...
    99+
    2023-07-28
    ide linux 大数据
  • PHP常量和变量之变量引用的示例分析
    小编给大家分享一下PHP常量和变量之变量引用的示例分析,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!关于PHP常量和变量之变量引用分别写两段代码,如下所示:<php$fo =8;//$fo的值为8,将8赋值...
    99+
    2023-06-15
  • Python数据分析 | 各种图表对比总结
    本期将带领大家一起对在数据可视化的过程中常用的一些图表进行下总结: 条形图 【适用场景】 适用场合是二维数据集(每个数据点包括两个值x和y),但只有一个维度需要比较,用于显示一段时间内的数据变化或显示各项之间的比较情况。 【优势】 条形图...
    99+
    2023-08-30
    数据分析 python 信息可视化
  • 表单变量在测试中不可用
    问题内容 我是 Go 新手。我使用 DeepMap OpenAPI 生成器和使用 pgxpool 的 Postgres 编写了一个基于 Echo 服务器构建的 API 服务器。它运行良...
    99+
    2024-02-06
  • JavaScript变量使用实例分析
    这篇文章主要讲解了“JavaScript变量使用实例分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“JavaScript变量使用实例分析”吧! &nbs...
    99+
    2024-04-02
  • C++ 数据结构中单链表的示例分析
    小编给大家分享一下C++ 数据结构中单链表的示例分析,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!一、链表是什么链表是一种物理存储结构上非连续、非顺序的存储结构,数据元素的逻辑顺序是通过链表中的指针链接依次实现的...
    99+
    2023-06-29
  • MySQL - 单表数据量大表优化方案
    一. 前言 当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化。 二. 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种...
    99+
    2023-09-30
    mysql 数据库
  • Python中的变量及简单数据类型应用
    目录一、变量二、字符串1.使用方法修改字符串的大小写2.在字符串中添加空白3.删除空白三、数字1.整数2.浮点数3.使用函数str()避免类型错误四、Python 之禅前言: 本文的...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作