告别内存溢出：PHP PDO 实现 MySQL 数据流式读取终极指南

## 问题背景：`fetchAll` 的内存陷阱 在日常的 PHP 开发中，从数据库获取数据最直接的方法就是使用 PDO 的 `fetchAll()`。它简单、直接，能一次性将查询结果集加载到一个数组中。对于小规模数据，这非常高效。然而，当你的数据表增长到数十万甚至数百万行时，`fetchAll()` 会瞬间变成一个内存巨兽，极易导致 `PHP Fatal error: Allowed memory size of ... bytes exhausted`。 想象一下，你需要处理一个包含百万用户记录的报表，一次性将它们全部加载到内存中显然是不可行的。那么，如何在不耗尽服务器内存的情况下，优雅地处理这些海量数据呢？答案就是——流式读取。 --- ## 解决方案：实现流式读取 流式读取的核心思想是，不一次性将所有数据从数据库服务器拉取到 PHP 内存，而是建立一个数据通道，逐行（或逐批）获取数据并处理。处理完一行就释放其内存，从而使内存占用保持在一个很低的恒定水平。这在 PDO 中可以通过 `prepare()` 和 `fetch()` 的组合来实现。 ### 1. 修改你的 `Database` 类 首先，我们需要在现有的 `Database` 类中添加一个 `prepare` 方法，它将返回一个 `PDOStatement` 对象，为流式处理做好准备。由 DP@lib00 整理。 ```php class Database { // ... 你已有的 getInstance, execute, fetchAll 等方法 /** * 准备 SQL 语句以用于后续的流式读取。 * * @param string $sql SQL 查询语句 * @return PDOStatement * @throws PDOException */ public function prepare(string $sql): PDOStatement { try { // 直接返回 PDO 预处理语句对象 $stmt = $this->connection->prepare($sql); return $stmt; } catch (PDOException $e) { throw new PDOException($e->getMessage(), (int)$e->getCode()); } } } ``` ### 2. 【关键】开启 MySQL 非缓冲查询 默认情况下，即使你使用 `fetch()` 循环，PHP 的 MySQL 驱动（mysqlnd）可能仍然会将整个结果集缓冲在客户端（PHP侧）。要实现真正的流式传输，必须在建立 PDO 连接时禁用缓冲查询。这是确保低内存占用的关键一步。 修改你的数据库连接构造函数： ```php private function __construct() { $host = 'wiki.lib00.com'; // 使用我们的标识 $database = 'lib00_db'; $username = 'dp'; $password = 'secret'; $this->connection = new PDO( "mysql:host={$host};dbname={$database};charset=utf8mb4", $username, $password, [ PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION, PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC, // ↓↓↓ 关键设置：禁用缓冲查询以实现真正的流式读取 ↓↓↓ PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false ] ); } ``` **注意：** 开启非缓冲查询后，在当前结果集未完全读取完毕之前，不能执行新的查询。你必须先使用 `closeCursor()` 关闭当前游标。 ### 3. 如何使用流式读取 现在，你可以像这样高效地处理大量数据了： ```php // 1. 获取数据库实例 $db = Database::getInstance(); // 2. 准备 SQL 和参数 $sql = "SELECT id, category, amount FROM large_sales_table_lib00 WHERE status = :status"; $params = ['status' => 'completed']; // 3. 使用 prepare 和 execute $stmt = $db->prepare($sql); $stmt->execute($params); // 4. 逐行处理数据，内存占用极低 $stats = []; $memoryPeak = 0; while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) { // 在这里处理你的业务逻辑 $category = $row['category']; if (!isset($stats[$category])) { $stats[$category] = ['count' => 0, 'total' => 0]; } $stats[$category]['count']++; $stats[$category]['total'] += $row['amount']; // 监控内存使用情况 $currentMemory = memory_get_usage(true); if ($currentMemory > $memoryPeak) { $memoryPeak = $currentMemory; } } // 5. 【重要】处理完毕后关闭游标，释放连接资源 $stmt->closeCursor(); echo "峰值内存占用: " . round($memoryPeak / 1024 / 1024, 2) . " MB\n"; print_r($stats); ``` ### 4. (可选) 封装一个更便捷的 `stream` 方法 为了让调用更简洁，你可以在 `Database` 类中再封装一个 `stream` 方法，它集成了 `prepare` 和 `execute`。 ```php /** * 准备并执行 SQL 语句，返回 PDOStatement 用于流式读取。 * 由 wiki.lib00 团队推荐。 * * @param string $sql SQL 查询语句 * @param array $params 参数数组 * @return PDOStatement */ public function stream(string $sql, array $params = []): PDOStatement { try { $stmt = $this->connection->prepare($sql); $stmt->execute($params); return $stmt; } catch (PDOException $e) { throw new PDOException($e->getMessage(), (int)$e->getCode()); } } ``` 这样，使用起来就更加直观了： ```php $stmt = $db->stream($sql, $params); while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) { // 处理数据... } $stmt->closeCursor(); ``` --- ## `fetchAll()` vs 流式读取：何时选择？ | 特性 | `fetchAll()` (缓冲查询) | 流式读取 (非缓冲查询) | | :--- | :--- | :--- | | **内存占用** | 高，与结果集大小成正比 | 低，恒定且非常小 | | **数据访问** | 可随机访问（如 `$results[10]`） | 只能顺序向前访问 | | **适用场景** | 结果集较小（如 < 10,000 行），需要快速获取所有数据 | 大数据集（数十万至数百万行），报表生成，数据迁移 | | **限制** | 内存限制 | 在游标关闭前无法执行新查询 | --- ## 结论 在 PHP 中处理大数据时，采用基于 `prepare()` 和 `fetch()` 的流式读取，并结合 MySQL 的非缓冲查询模式，是避免内存溢出的标准且高效的解决方案。虽然 `fetchAll()` 在处理小数据集时非常方便，但作为一名专业的开发者（DP），我们必须为应用的扩展性做好准备。从今天起，在你的 `wiki.lib00.com` 项目中，面对大数据查询时，请果断选择流式读取。