在日常的 symfony 项目开发中，我们经常会遇到需要处理大量数据的场景，例如数据导入、批量更新等等。这些操作通常需要编写 console 命令来完成。然而，当数据量达到一定规模时，命令的执行时间会变得非常漫长，严重影响开发效率。
为了解决这个问题，我开始寻找能够并行化 Symfony Console 命令执行的方案。经过一番调研，我发现了 webmozarts/console-parallelization 这个库。它通过将任务分解成小块，并在多个进程中并行执行，从而显著缩短命令的执行时间。
Composer在线学习地址：学习地址
webmozarts/console-parallelization 库的核心思想是将待处理的数据分割成多个 items，然后将这些 items 分发到多个子进程中并行处理。每个子进程处理完一定数量的 items 后会被杀死，以防止内存泄漏或性能下降。
安装
使用 Composer 安装 webmozarts/console-parallelization 库非常简单：
composer require webmozarts/console-parallelization
使用
要将并行化功能添加到你的 Symfony Console 命令中，你可以选择继承 ParallelCommand 类或者使用 Parallelization trait。
示例：继承 ParallelCommand 类
use Symfony\Component\Console\Command\Command;
use Symfony\Component\Console\Input\InputInterface;
use Symfony\Component\Console\Output\OutputInterface;
use Webmozarts\Console\Parallelization\ParallelCommand;
class ImportMoviesCommand extends ParallelCommand
{
public function __construct()
{
parent::__construct('import:movies');
}
protected function configure(): void
{
parent::configure();
// ...
}
protected function fetchItems(InputInterface $input, OutputInterface $output): iterable
{
// 从文件或数据库中读取电影数据
return [
'{"id": 1, "name": "Star Wars"}',
'{"id": 2, "name": "Django Unchained"}',
// ...
];
}
protected function runSingleCommand(string $item, InputInterface $input, OutputInterface $output): void
{
$movieData = json_decode($item);
// 将电影数据插入数据库
}
protected function getItemName(?int $count): string
{
if (null === $count) {
return 'movie(s)';
}
return 1 === $count ? 'movie' : 'movies';
}
}运行命令
你可以像运行普通的 Symfony Console 命令一样运行这个命令：
bin/console import:movies # 或者指定进程数量 bin/console import:movies --processes 4
优势
- 显著提升执行效率： 通过并行化处理，大幅缩短命令的执行时间。
-
易于集成： 可以通过继承
ParallelCommand类或使用Parallelizationtrait 轻松集成到现有的 Symfony Console 命令中。 - 灵活配置： 提供了丰富的配置选项，可以根据实际情况调整 items、segments 和 batches 的大小，以优化性能。
- 支持钩子函数： 可以在每个 batch 执行前后运行自定义代码，例如刷新数据库连接或释放资源。
webmozarts/console-parallelization 库为解决 Symfony Console 命令执行效率问题提供了一个有效的解决方案。通过并行化处理，可以显著缩短命令的执行时间，提高开发效率。如果你正在为 Symfony 命令的执行效率而烦恼，不妨尝试一下这个库。
