在早期版本的Spark中，shuffle过程没有磁盘读写操作，是纯内存操作，后来发现效率较低，且极易引发OOME，较新版本的Shuffle操作都加入了磁盘读写进行了改进。1、未经优化的HashShuffleManager：上一个stage中每一个task会对下...

顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的...

https://blog.csdn.net/zhangsheng_1992/article/details/52598396https://blog.csdn.net/xiyangyang8110/article/details/52163106https:/...

在JDK的Collection中我们时常会看到类似于这样的话：例如，ArrayList:注意，迭代器的快速失败行为无法得到保证，因为一般来说，不可能对是否出现不同步并发修改做出任何硬性保证。快速失败迭代器会尽最大努力抛出 ConcurrentModificat...

...

锁（LOCK）当有两个或跟多个线程或进程需要操作一个变量或进程时，会出现意想不到的结果，这是因为线程或进程时迸发进行的，对同意变量或文件操作时，会出现同时对其操作，从到导致逻辑错误。#!/bin/usr/env python#coding:...

Python 环境初始化过程中就会将sys module加载到内存中，但是为了local空间更干净，需要用户亲自导入，通知python.module对象实际上是一个dict在维护着，hello.__dict__打印出属性和属性值,hello...

pygame绘制机制简介 屏幕控制 pygame.display 用来控制Pygame游戏的屏幕 Pygame有且只有一个屏幕 屏幕左上角坐标为(0,0) 以像素为单位 屏幕控制需求 游戏全屏 游戏屏幕大小可调节 游戏屏幕...

...

Kafka的重试机制是指在消息发送过程中，如果发送失败或者出现异常，Kafka会自动尝试重新发送消息。重试机制的目的是确保消息能够成功发送到目标主题。Kafka的重试机制包括两个方面：Producer端重试：当Producer发送消息时，...

View 绘制机制一、 View 树的绘图流程当 Activity 接收到焦点的时候，它会被请求绘制布局,该请求由 Android framework 处理.绘制是从根节点开始，对布局树进行 measure 和 draw。整个 View 树...

虽然现在使用哨兵+主从的方式比较少了，但通过理解 Redis 哨兵，我们能获得更深入的分布式的知识。https://redis.io/topics/sentinelsentinel基本配置sentinel的作用：1、监控2、通知3、自动故障转移 （1.投票决策...

SQL Server中锁机制保证并发情况下的数据访问，开发过程中利用好索引减少数据，能减少数据扫描数据加锁的过程，合理规范使用事务，能减少死锁发生 锁定是 SQL Server 数据库引擎用来同步多个用户同时对同一个数据块的访问的一种机制。基本概...

复制步骤：Slave 上面的IO线程连接上 Master，并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容Master 接收到来自 Slave 的 IO 线程的请求后，通过负责复制的 IO 线程根据请求信息读取指定日志指定位置之后的日志信息，...

Redis服务器是一个事件驱动程序，服务器需要处理以下两类事件：文件事件：Redis通过套接字与客户端连接，文件事件是服务器对套接字操作的抽象。时间事件：Redis服务器中的一些操作需要给定的时间点执行，时间事件时对这类定时操作的抽象。文件事件文件事件处理器使...

DecorView通过PhoneWindow与WindowManagerService通信原理图每个Activity都有一个Window对象，这个对象是PhoneWindow类型的。 每个Window对象里面都维护着一个WindowMana...

...

...

...

...