并行处理大 csv 文件
某 csv 文件存储大量订单。
| OrderID,Client,SellerID,Amount,OrderDate 1,SPLI,219,9173,01/17/2022 2,HU,110,6192,10/01/2020 3,SPL,173,5659,04/23/2020 4,OFS,7,3811,02/05/2023 5,ARO,146,3752,08/27/2021 6,SRR,449,10752,05/27/2022 7,SJCH,326,11719,01/18/2022 8,JDR,3,11828,12/09/2021 |
要求用 Java 并行处理该文件，选出金额介于 3000 至 5000 美元的订单，按客户分组，统计订单金额和订单数量。
| Client | amt | cnt |
| ARO | 11948382 | 2972 |
| BDR | 11720848 | 2933 |
| BON | 11864952 | 2960 |
| BSF | 11947734 | 2980 |
| CHO | 11806401 | 2968 |
| CHOP | 11511201 | 2877 |
| D | 11491452 | 2876 |
| DSG | 11672114 | 2910 |
| DSGC | 11656479 | 2918 |
编写SPL语句
=file("d:/OrdersBig.csv").cursor@mtc(;8).select(Amount>=3000 && Amount<5000).groups(Client;sum(Amount):amt,count(1):cnt)
函数cursor用来解析超出内存的大文件，默认单线程，@m表示多线程并行读取，后面的8是并行数，@t表示首行是表头，@c表示分隔符是逗号。
Java 集成 SPL 可参考 Java 如何调用 SPL 脚本
SPL开源地址