Laravel中的惰性集合测试及使用

2023-06-01 集合 测试 惰性

Laravel 的 LazyCollection 类是一个强大的工具,可以让你用很少的内存处理大量的数据。

它是框架的最新补充(在 Laravel 6 中引入),但还不是那么出名。


一直以来,Collection 类一直是 Laravel 的主要内容。

正如文档所说,常规集合包装了一个原生 PHP 数组,提供了一个流畅、方便的 API 来与底层数组交互。


要创建常规集合,您需要向它传递一个值数组。

测试一下,让我们从一个简单的数字数组开始:

use Illuminate\Support\Collection;
new Collection([1, 2, 3, 4, 5]); // [1, 2, 3, 4, 5]


事实上,Laravel 集合有一个方便的 times 方法,这是一种创建具有一系列数字的集合的便捷方式:

return Collection::times(100); // [1, 2, 3, ... 98, 99, 100]

一旦我们有了一个集合实例,我们就可以开始将方法链接到它上面:

$res = Collection::times(50)
           ->map(fn ($number) => $number * 2)
           ->filter(fn ($number) => $number % 20 == 0); 
dd($res);
/*
    #items: array:5 [▼
       9 => 20
       19 => 40
       29 => 60
       39 => 80
       49 => 100
    ]
*/

虽然这个简化的例子在现实生活中并没有真正有用,但它显示了关于常规集合的一个重要事实:

所有值都保存在内存中,并且每个方法调用都会创建一个新的内存中值数组

(包装在一个新的 Collection 实例中) 


内存不足

当我们有一个相对较短的列表时,将所有值保存在内存中是可以的,但是随着我们处理的数据量开始增长,我们将很快耗尽内存。


为了说明这一点,让我们尝试创建一个具有十亿个值的集合类:

Collection::times(1000 * 1000 * 1000);


现在切换到 Lazy Collections 因为当你使用 Collection 时你会得到一个错误:

"Allowed memory size of 536870912 bytes exhausted (tried to allocate 34359738376 bytes)"

字面意思就是内存已用完...


原因很简单:

times 方法创建了一个集合,将其所有值存储在内存中。

尝试为十亿个数字分配内存显然会超过可用内存量。


此外,即使我们只想处理集合的一小部分(例如,取前 1000个偶数):

$collection = LazyCollection::times(1000 * 1000 * 1000)
->filter(fn ($number) => $number % 2 == 0)
->take(1000);
return $collection;

它依旧会内存不足,因为每一步都会在内存中构建一个完整的集合。

当我们调用 times 方法时,它无法知道我们将要过滤它的值;


相关文章:

https://josephsilber.com/posts/2020/07/29/lazy-collections-in-laravel

相关文章

C#集合

2023-07-19 集合