php使用fputcsv实现大数据的导出操作详解

时间:2022-06-28 23:19:51

本文实例讲述了php使用fputcsv实现大数据的导出操作。分享给大家供大家参考,具体如下:

为了实验大数据的导出,我们这里先自已创建一张大表,表结构如下:

  1. CREATE TABLE `tb_users` (
  2. `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '用户ID',
  3. `name` varchar(32) DEFAULT '' COMMENT '用户名',
  4. `age` tinyint(3) DEFAULT '0' COMMENT '用户年龄',
  5. `desc` varchar(255) DEFAULT '' COMMENT '用户描述',
  6. `phone` varchar(11) DEFAULT '' COMMENT '用户手机',
  7. `qq` varchar(16) DEFAULT '' COMMENT '用户QQ',
  8. `email` varchar(64) DEFAULT '' COMMENT '用户邮箱',
  9. `addr` varchar(255) DEFAULT '' COMMENT '用户地址',
  10. PRIMARY KEY (`id`)
  11. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后写个php脚本往这个表插入数据,代码如下:

  1. <?php
  2. set_time_limit(0);
  3. ini_set('memory_limit', '128M');
  4.  
  5. //使用TP3.2的String类,php7下会报错,注意把类名换一下
  6. require './String.class.php';
  7. use Org\Util\NewString;
  8.  
  9. $begin = microtime(true);
  10.  
  11. $db = new mysqli('127.0.0.1', 'root', '', 'test');
  12.  
  13. if($db->connect_error) {
  14. die('connect error');
  15. }
  16. //数据插入语句
  17. $insSql = '';
  18.  
  19. //一百万数据,分200步,每步插入5000条
  20. $step = 200;
  21. $nums = 5000;
  22.  
  23. for($s = 0; $s < $step; ++$s) {
  24. $insSql = 'INSERT INTO tb_users VALUES';
  25. for($n = 0; $n < $nums; ++$n) {
  26. $name = NewString::randString(3, 4);
  27. $age = mt_rand(1, 120);
  28. $desc = NewString::randString(64, 4);
  29. $phone = NewString::randString(11, 1);
  30. $qq = NewString::randString(13, 1);
  31. $email = $qq . '@qq.com';
  32. $addr = NewString::randString(128, 4);
  33. $insSql .= "(NULL, '{$name}', $age, '{$desc}', '{$phone}', '{$qq}', '{$email}', '{$addr}'),";
  34. }
  35. $insSql = rtrim($insSql, ',');
  36. $db->query($insSql);
  37. }
  38. $end = microtime(true);
  39. echo '用时:', $end - $begin;
  40.  
  41. $db->close();

里面用到的TP3.2的String类大家自行上TP官网下载。整个用时2个多小时,最后数据大小662M。

现在我们用php提供的fputcsv来导出这一百万的数据,原理就是打开一个标准输出流,然后把数据按一万条来分割,每一万条就刷新缓冲区。

  1. <?php
  2. set_time_limit(0);
  3. ini_set('memory_limit', '128M');
  4.  
  5. $fileName = date('YmdHis', time());
  6. header('Content-Type: application/vnd.ms-execl');
  7. header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
  8.  
  9. $begin = microtime(true);
  10.  
  11. //打开php标准输出流
  12. //以写入追加的方式打开
  13. $fp = fopen('php://output', 'a');
  14.  
  15. $db = new mysqli('127.0.0.1', 'root', '', 'test');
  16.  
  17. if($db->connect_error) {
  18. die('connect error');
  19. }
  20.  
  21. //我们试着用fputcsv从数据库中导出1百万的数据
  22. //我们每次取1万条数据,分100步来执行
  23. //如果线上环境无法支持一次性读取1万条数据,可把$nums调小,$step相应增大。
  24. $step = 100;
  25. $nums = 10000;
  26.  
  27. //设置标题
  28. $title = array('ID', '用户名', '用户年龄', '用户描述', '用户手机', '用户QQ', '用户邮箱', '用户地址');
  29. foreach($title as $key => $item) {
  30. $title[$key] = iconv('UTF-8', 'GBK', $item);
  31. }
  32. //将标题写到标准输出中
  33. fputcsv($fp, $title);
  34.  
  35. for($s = 1; $s <= $step; ++$s) {
  36. $start = ($s - 1) * $nums;
  37. $result = $db->query("SELECT * FROM tb_users ORDER BY id LIMIT {$start},{$nums}");
  38.  
  39. if($result) {
  40. while($row = $result->fetch_assoc()) {
  41. foreach($row as $key => $item) {
  42. //这里必须转码,不然会乱码
  43. $row[$key] = iconv('UTF-8', 'GBK', $item);
  44. }
  45. fputcsv($fp, $row);
  46. }
  47. $result->free();
  48.  
  49. //每1万条数据就刷新缓冲区
  50. ob_flush();
  51. flush();
  52. }
  53. }
  54.  
  55. $end = microtime(true);
  56. echo '用时:', $end - $begin;

整个过程用时5分钟,最终生成的csv文件大小420M。

php使用fputcsv实现大数据的导出操作详解

php使用fputcsv实现大数据的导出操作详解

php使用fputcsv实现大数据的导出操作详解

对于如何用phpexcel导出大数据,并没有什么比较好的方案,phpexcel提供的一些缓存方法,数据压缩,虽然内存使用小了,但所用时间则加长了,时间换空间,显然并不是最好的方案。比较靠谱的方法还是生成多个下载链接地址,把你要下载的数据,以get形式传递当前页数,后台进行数据分页然后导出。

  1. <a href="/downSearchData.php?参数1=值1&参数2=值2&page=1" rel="external nofollow" >下载汇总结果1</a>
  2. <a href="/downSearchData.php?参数1=值1&参数2=值2&page=2" rel="external nofollow" >下载汇总结果2</a>
  3. <a href="/downSearchData.php?参数1=值1&参数2=值2&page=3" rel="external nofollow" >下载汇总结果3</a>

比如你有一个查询数据表单,ID为searchFrm,然后你想把导出数据按1万条分割(phpexcel一次导出1万条是没有问题的,效率还行)

  1. <form id="searchFrm">
  2. 姓名<input type="text" name="uname">
  3. <input type="button" id="searchDataBtn" value="导出汇总结果">
  4. </form>
  5. <div id="searchDataList"></div>
  6.  
  7. <script type="script">
  8. $("#searchDataBtn").on("click", function() {
  9. var params = $("#searchFrm").serialize();
  10.  
  11. //获取查询数据的条数
  12. $.get("/getSearchDataRows?" + params, function(data) {
  13. var downDataList = "";
  14. if(data["rows"]) {
  15. //rows是数据总条数,pageSize是一页多少条
  16. var pageNum = Math.ceil(data["rows"] / data["pageSize"]);
  17. for(var i = 1; i <= pageNum; ++i) {
  18. downDataList += "<a href='/downSearchData.php?'" + params + "&page=" + i + ">下载汇总结果" + i + "</a>&nbsp;&nbsp;";
  19. }
  20. $("#searchDataList").html(downDataList);
  21. } else {
  22. $("#searchDataList").text("没有数据");
  23. }
  24. }, "json");
  25. return false;
  26. });
  27. </script>

希望本文所述对大家PHP程序设计有所帮助。

原文链接:https://www.cnblogs.com/jkko123/p/6389240.html