1.概述 yield和return有点像,它是一个生成器,对PHP应用的性能有非常大的影响, 只有在调用的时候才会执行,并不产生多余的值,比如读取一个很大的文件或者计算大量的数据时,如果直接读取很有可能内存就爆了,而yield就可以做到
yield和return有点像,它是一个生成器,对PHP应用的性能有非常大的影响, 只有在调用的时候才会执行,并不产生多余的值,比如读取一个很大的文件或者计算大量的数据时,如果直接读取很有可能内存就爆了,而yield就可以做到把数据一行行读取到php运行内存,并非一次性读取到php运行内存,这样在运行时就会节省大量的内存;还有就像在循环数据库的所有记录的时候,这个记录可能会很大,例如100万行,那么通过传统的办法就行不通了,首先通过WEB访问,php有超时时间,默认是30秒,那么就只能通过php cli的方式来执行,这样就没有超时时间了,但由于数据量太大,php循环时需要将数据全部载入内存中执行,由于数据量太大,php会报
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 4096 bytes)
的错误,php默认的内存限制为128M,虽然可以通过修改php.ini中memory_limit
的选项的值来提高内存限制,但始终不是最优的解决办法,这时通过生成器函数就可以极大节省内存开销
先看一个简单的函数
ion createRange($number){ $data = []; for($i=0;$i<$number;$i++){ $data[] = time(); } return $data;}?>
这是一个非常常见的PHP函数,我们在处理一些数组的时候经常会使用。这里的代码也非常简单:
创建一个函数, 函数内包含一个for循环,循环的把当前时间放到data里面for循环执行完毕,把data返回出去。
再写一个函数,把这个函数的返回值循环打印出来:
';}
在浏览器里面看一下运行结果,非常赖斯,没有任何问题,这时需要思考一个问题:
在调用函数createRange的时候给$number的传值是10,一个很小的数字,如果现在传递一个值10000000(1000万),那么,在函数createRange里面,for循环就需要执行1000万次,且有1000万个值被放到$data里面,而$data数组在是被放在内存里的,所以,在调用函数时候会占用大量内存,非常的不友好,这时生成器(yield)就闪亮登场了,修改一下代码,创建生成器:
这段代码,删除了数组$data,也没有返回任何内容,而是在time()之前使用了一个关键字yield
使用生成器
';}?>
运行上面的代码,可以发现:
输出的值和第一次没有使用生成器的不一样,这里的值(时间戳)中间间隔了1秒,这里的间隔一秒其实就是sleep(1)造成的,但是为什么第一次没有间隔呢,那是因为:未使用生成器时,createRange函数内的for循环结果被很快放到$data中,并且立即返回,所以,foreach循环的是一个固定的数组; 使用生成器时,createRange的值不是一次性快速生成,而是依赖于foreach循环,foreach循环一次,for执行一次
';}?>
(1).首先调用createRange函数,传入参数10,但是for值执行了一次然后停止了,并且告诉foreach第一次循环可以用的值
(2).foreach开始对$result循环,进来首先sleep(1),然后开始使用for给的一个值执行输出
(3).foreach准备第二次循环,开始第二次循环之前,它向for循环又请求了一次
(4).for循环于是又执行了一次,将生成的时间戳告诉foreach
(5).foreach拿到第二个值,并且输出。由于foreach中sleep(1),所以,for循环延迟了1秒生成当前时间,所以,整个代码执行中,始终只有一个记录值参与循环,内存中也只有一条信息
结果:
所以无论开始传入的$number有多大,由于并不会立即生成所有结果集,所以内存始终是一条循环的值
生成器yield关键字不是返回值,他的专业术语叫产出值,只是生成一个值,代码中foreach循环其实是PHP在使用生成器的时候,会返回一个Generator类的对象,foreach可以对该对象进行迭代,每一次迭代,PHP会通过Generator实例计算出下一次需要迭代的值,这样foreach就知道下一次需要迭代的值了,而且,在运行中for循环执行后,会立即停止。等待foreach下次循环时候再次和for索要下次的值的时候,for循环才会再执行一次,然后立即再次停止,直到不满足条件不执行结束
$value) { # code... echo $value.'
';}
通过上图的输出结果我们可以看出代码完全正常,但是,背后的代码执行规则却一点儿也不一样,使用生成器读取文件,第一次读取了第一行,第二次读取了第二行,以此类推,每次被加载到内存中的文字只有一行,大大的减小了内存的使用。这样,即使读取上G的文本也不用担心,完全可以像读取很小文件一样编写代码
参考:redis实现统计活跃用户 功能
get_bitmap_all($key); if ($userIds) { //循环查询(使用yield生成器)用户表,处理用户逻辑相关功能 $i_userIds = $this->YieldUser($userIds); foreach ($i_userIds as $userId) { //获取通过生成器处理的用户id,处理用户相关功能 ... } } } public function get_bitmap_all($key) { //服务端redis $redis = Yii::$app->redis; $result = []; $value = $redis->get($key); if ($value) { $bitmap = unpack('C*', $value); if ($bitmap) { foreach ($bitmap as $key => $number) { // 下标是从1开始的; 1个字节8位 $offset = ($key - 1) * 8; // 过滤没有标记的字节段 if ($number) { for ($i = 0; $i < 8; $i++) {// 遍历这个字节的每一位,是否有为1的值,如果有,那就记录这个位置的偏移量,就是用户idif (($number >> $i & 1) == 1) { // 8位范围是0~7,因为Redis是高位到低位存储,所以要反过来计算偏移量 $result[] = $offset + (7 - $i);} } } } } } return $result; } public function YieldUser($userIds) { //使用yield生成器 foreach ($userIds as $userId) { yield $userId; } }}
到这里,php使用yield处理大数据文件基本功能就完成了
来源地址:https://blog.csdn.net/zhoupenghui168/article/details/129797758
--结束END--
本文标题: php使用yield处理大数据文件
本文链接: https://lsjlt.com/news/393424.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0