当前位置: 首页 > article >正文

超大excel文件读,避免内存溢出

excel40M+,但是用传统的读取excel方法,会报内存溢出的错误。

所以采用了下面的方式,能解决此问题:

maven依赖

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi</artifactId>
    <version>4.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>4.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-scratchpad</artifactId>
    <version>4.0.0</version>
</dependency>

<!-- 读取大量excel数据时使用 -->
<dependency>
    <groupId>com.monitorjbl</groupId>
    <artifactId>xlsx-streamer</artifactId>
    <version>2.1.0</version>
</dependency>

 代码:

import com.monitorjbl.xlsx.StreamingReader;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;

import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.Locale;

public class Main {
    public static void main(String[] args){
        try{
            FileInputStream fis = new FileInputStream("D:\\d\\2023财年\\新疆\\a.xlsx");
            Workbook wk = StreamingReader.builder()
                    .rowCacheSize(100)  //缓存到内存中的行数,默认是10
                    .bufferSize(4096)  //读取资源时,缓存到内存的字节大小,默认是1024
                    .open(fis);  //打开资源,必须,可以是InputStream或者是File,注意:只能打开XLSX格式的文件
            int sheetNums = wk.getNumberOfSheets();
            System.out.println(sheetNums);
            List<String> sheets = new ArrayList<>();
            for(int i = 0 ; i < sheetNums;i ++){
                Sheet sheet = wk.getSheetAt(i);
                String sheetName = wk.getSheetName(i);
                //遍历所有的行
                for (Row row : sheet) {
                    StringBuilder sb = new StringBuilder();
                    //遍历所有的列
                    for (Cell cell : row) {
                        sb.append(cell.getStringCellValue().replaceAll("\\s+", "").toUpperCase(Locale.ROOT) + ",");
                    }
                    if(sb.toString().contains("模型名称")){
                        sheets.add(sb.toString().replaceAll("模型名称:", "").
                                replaceAll("模型名称:", "").replaceAll("表名:", ","));
                    }
                }
            }
            for(String data: sheets){
                System.out.println(data);
            }
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}


http://www.kler.cn/news/17509.html

相关文章:

  • 【华为OD机试真题 Python】简单的解压缩算法 (100%通过)
  • node之Express
  • 【GAMES101】05 Rasterization(Triangles)
  • 【初学人工智能原理】【4】梯度下降和反向传播:能改(下)
  • 算法设计与分析期末复习
  • 判断密码判断密码
  • 删除游戏-类似打家劫舍
  • Canvas和SVG有什么区别?
  • java基础知识——26.反射
  • 架构集群部署
  • 深度学习 -- PyTorch学习 torchvision工具学习 Transforms模块 Normalize用法
  • Db2 hardcode一个CTE
  • 科研人必看入门攻略(收藏版)
  • B017_群函数篇
  • ( 数组和矩阵) 287. 寻找重复数 ——【Leetcode每日一题】
  • Python JSON
  • 网络安全合规-数据安全风险评估
  • 【数据结构】图笔记
  • 【泛函分析】区间上的单调有界函数必存在左右极限,间断点必为第一类间断点
  • 抖音营销策略:新手如何利用抖音提高品牌曝光度
  • 多媒体API
  • Mysql 设置 sort_buffer_size
  • Lenovo MORFFHL鼠标对码教程
  • 【软考备战·希赛网每日一练】2023年5月2日
  • 卷积池化后的特征图尺寸计算
  • 【Python】Pandas的一系列经典操作(非常实用)
  • 阿里云Alibaba Cloud Linux镜像系统介绍及常见问题解答FAQ
  • Scrum敏捷开发和项目管理流程及工具
  • 量子退火Python实战(3):投资组合优化(Portfolio) MathorCup2023特供PyQUBO教程
  • 【五一创作】ERP实施-委外业务-委外采购业务