当前位置: 首页 > article >正文

arcgis 切片分析录入mongodb

将arcgis的切片数据录入mongodb,这样可以支持自定义的server发步

以下是对3种arcgis切片规则的分析

松散型

也就是我们常见的文件式的切片管理方式,将 Arcgis Server 切出来的切片图片按照行列号的规范,存储在相应的文件夹中。

循环所有.png文件路径,存入mongodb数据库

for (let i = 0; i < total; i++)
                    {
                        console.log("循环录入文件:" + i + "/" + total + "\t" + filesPaths[i]);
                        let filePath = filesPaths[i];

                        let data = fs.readFileSync(filePath);

                        filePath = filePath.replace(/\\/g, '/');
                        filePath = filePath.replace(rootFolder + '/', '');

                        //L08\R00000061\C000000D3.png

                        var infoString = filePath.replace(".png", "");
                        let level = parseInt(infoString.split('/')[0].replace("L", ""));
                        let row = parseInt(infoString.split('/')[1].replace("R", ""), 16);
                        let column = parseInt(infoString.split('/')[2].replace("C", ""), 16);

                        let b3dmData = { 'level': level, 'row': row, 'column': column, 'fullPath': filePath, 'data': data };
                        b3dmDataSet.push(b3dmData);
                        if (i != 0 && i % 10000 == 0)
                        {
                            await collection.insertMany(b3dmDataSet);
                            b3dmDataSet = [];
                            let proc = (i / total).toFixed(2) * 100;
                            console.log('已完成 ' + proc + '%');
                        } else if (i == filesPaths.length - 1)
                        {
                            await collection.insertMany(b3dmDataSet);
                            b3dmDataSet = [];
                            await client.close();
                            console.log('已完成 100%');
                        }
                    }

早期紧凑型

将切好的切片转化成.bundle.bundlex的两种文件格式存储。

  • 其中bundle文件用以存储切片数据,bundlx 是 bundle 文件中切片数据的索引文件

  • 一个 bundle 文件中最多可以存储128×128(16384)个切片;

  • 在 bundlx 文件中用固定的字节数量(5字节)标识一个切片在 bundle 文件中的状态(偏移量);每个 bundlx 文件都是一样的大小:81952字节,起始16字节和文件结束16字节与索引无关,剩余的81920字节数据以5个字节的频率重复,构成了一个对bundle文件的索引【注:16384 * 5 = 81920】;这5个字节标示了切片数据的偏移量。

  • 在 bundle 文件中,每2个切片数据之间相隔了4个字节;这4个字节正好是以低位到高位的方式标示了后续这个切片数据的长度。

  • 切片数据的长度(4字节)和数据偏移(5字节)是无符号的整数。

  • bundlx 文件的文件名,包含了切片的行列信息,而它所在的文件夹名称(目录名称),则包含切片的级别信息。

因此,我们如果知道了一个切片的级别、行号、列号,就可以找到相应的 bundlx 文件,并通过 bundlx 首先找到bundle中切片内容的偏移,然后从bundle文件中取出4个字节的长度数据,再随后根据这个长度读取真实的切片数据。

假设已知切片的级别、行号和列号,求对应的 bundlx 文件:

目录名:L开头,并加上级别,级别不足2位的,高位补0,例如:L01,L19等。

文件名:R开头,加上4位16进制数(行号组最小行号),
	   再加上字母C,最后加上4位16进制数(列号组最小列号),
	   例如:R0080C0080.bundlx
	   
行号组最小行号、列号组最小列号 的计算:
(1)因为一个 bundle 文件中最多可以存储 128×128 个切片,所以,
	行号/128,向下取整,得到切片所在的“行号组的序数 r”(即第 r 组);
	列号/128,向下取整,得到切片所在的“列号组的序数 c”(即第 c 组);
	r * 128,得到所在行组的最小行号 rrrr;
	c * 128,得到所在列组的最小列号 cccc;
(2)将 rrrr 和 cccc 转成 16 进制数,并转化为长度为4的字符串(不足4位时,高位补0);

找到 bundlx 文件:
(3)拼接出文件名:R{rrrr}C{cccc}.bundlx
(4)拼接出路径:_alllayers\level\R{rrrr}C{cccc}.bundlx

--------------------------------

假设已知切片的级别、行号和列号,求对应的切片数据:

(1)求切片的序数:
行号 - 行号组最小行号(即:行号-rrrr),得到切片在当前行号组的序数 m;
列号 - 列号组最小列号(即:列号-cccc),得到切片在当前列号组的序数 n;
 m + 128 *n,得到切片在 bundle 文件中的序数 index(即:切片是 bundle 中总共的16384 张切片中的第 index 张切片);

(2)求切片的位置(偏移量):
因为在 bundlx 文件中,每张切片的位置信息用5字节表示,且头部有16个起始字节,所以,前(16 + 5 * index)个字节需要忽略;之后的5字节是切片的位置信息,如下解析切片的位置信息:
偏移量 offset = 第0字节 + 第1字节 * 256 + 第2字节 * 256 * 256 + 第3字节 * 256 * 256 * 256 + 第4字节 * 256 * 256 * 256 * 256。

(3)求切片的长度:
因为切片之前4个字节,是切片的长度信息,所以 用 offset 之后的四个字节来计算切片的长度,如下:
切片长度 length = 第0字节 + 第1字节 * 256 + 第2字节 * 65536 + 第3字节 * 16777216

(4)读取切片
offset 之后 length 个字节,就是切片的图片流。

以下是为了将arcgis切片数据存入mongodb中的核心代码

filepath为各个索引文件路径

b3dmDataSet为要存入mongodb的数据集


                        //读取索引文件
                        let indexData = fs.readFileSync(filePath);
                        //读取数据文件
                        let imgdata = fs.readFileSync(filePath.replace(".bundlx", ".bundle"));

                        filePath = filePath.replace(/\\/g, '/');
                        filePath = filePath.replace(rootFolder + '/', '');

                        let level = parseInt(filePath.split('/')[0].replace("L", ""));
                        let filename = filePath.split('/')[1].split('.')[0];
                        let minRow = parseInt(filename.split('C')[0].replace("R", ""), 16);
                        let minColumn = parseInt(filename.split('C')[1].replace("C", ""), 16);

                        for (var rowindx = minRow; rowindx < minRow + size; rowindx++)
                        {
                            for (var colindx = minColumn; colindx < minColumn + size; colindx++)
                            {
                                var currentImageData = [];
                                //读取数据
                                {
                                    //计算切片序号
                                    var indexQP = (rowindx - minRow) + (colindx - minColumn) * size;
                                    //计算切片偏移量
                                    var offset = 0;
                                    {
                                        //需要忽略的长度
                                        var hLength = 16 + (5 * indexQP);
                                        //计算切片偏移量
                                        offset = //indexData.readUInt16LE(hLength);
                                            indexData[hLength] +
                                            (indexData[hLength + 1] * 256) +
                                            (indexData[hLength + 2] * 256 * 256) +
                                            (indexData[hLength + 3] * 256 * 256 * 256) +
                                            (indexData[hLength + 4] * 256 * 256 * 256 * 256);
                                    }

                                    //计算切片长度
                                    var qpLenth = imgdata[offset] +
                                        (imgdata[offset + 1] * 256) +
                                        (imgdata[offset + 2] * 256 * 256) +
                                        (imgdata[offset + 3] * 256 * 256 * 256);

                                    currentImageData = imgdata.slice(offset + 4, offset + 4 + qpLenth);
                                }

                                if (currentImageData.length > 0)
                                {
                                    let b3dmData = { 'level': level, 'row': rowindx, 'column': colindx, 'fullPath': filePath, 'data': currentImageData };
                                    b3dmDataSet.push(b3dmData);
                                }
                            }
                        }

10.3以后的紧凑型(未验证)

将切好的切片转化成.bundle的格式来存储。

  • 切片的索引、切片的偏移和切片的图片流都必然包含在这一.bundle文件中;
  • 头信息:.bundle文件起始 64 字节 是 bundle 的文件头信息;
  • 位置信息:头信息之后,记录了 16384 张切片的位置;每个位置信息,用8个字节表示;仅前4字节有用,从低位到高位;后4字节可忽略;
  • 图片流信息:位置信息之后,是图片流信息;每个切片图,先以4字节记录切片的长度,而后紧跟图片的流信息。
  • .bundle文件的文件名以及所在文件夹的名称,包含切片的级别、行列信息。
假设已知切片的级别、行号和列号,求对应的 bundle 文件:
求取方式同 “假设已知切片的级别、行号和列号,求对应的 bundlx 文件”。

--------------------------------

假设已知切片的级别、行号和列号,求对应的切片数据:

(1)求切片的序数:
行号 - 行号组最小行号(即:行号-rrrr),得到切片在当前行号组的序数 m;
列号 - 列号组最小列号(即:列号-cccc),得到切片在当前列号组的序数 n;
128 * m + n,得到切片在 bundle 文件中的序数 index(即:切片是 bundle 中总共的16384 张切片中的第 index 张切片);

(2)求切片的位置(偏移量):
因为每张切片的位置用8字节表示,且头信息占64字节,所以,前(64 + 8 * index)个字节需要忽略;之后的8字节是切片的位置信息(仅前4字节有用),如下解析切片的位置信息:
偏移量 offset = 第1字节 + 第2字节 * 256 + 第3字节 * 65536 + 第4字节 * 16777216。

(3)求切片的长度:
因为切片之前4个字节,是切片的长度信息,所以 用(offset-4)之后的四个字节来计算切片的长度,如下:
切片长度 length = 第0字节 + 第1字节 * 256 + 第2字节 * 65536 + 第3字节 * 16777216

(4)读取切片
offset 之后 length 个字节,就是切片的图片流。

 


http://www.kler.cn/a/584213.html

相关文章:

  • Linux安装Redis、远程连接Redis
  • cyberstrikelab lab2
  • 【大模型基础_毛玉仁】2.3 基于 Encoder-only 架构的大语言模型
  • Springboot 实用技巧 查缺补漏
  • 如何打造TikTok矩阵:多账号管理与内容引流的高效策略
  • HTTP 协议中常见的错误状态码(详细介绍)
  • 【C++】每日一练(有效的括号)
  • Matlab 条纹点法向量计算
  • uniapp+Vue3 组件之间的传值方法
  • 基于DeepSeek×MWORKS 2025a的ROM Builder自动化降阶实战
  • 基于qiime2的16S数据分析全流程:从导入数据到下游分析一条龙
  • 计算机就业方向与相关技术
  • 如何修改 Ubuntu 软件源(镜像源)
  • 初阶数据结构(C语言实现)——5.3 堆的应用(1)——堆排序
  • qt5中使用中文报错error: C2001: 常量中有换行符
  • Python入门教程:从零开始学习Python编程
  • Houdini Labs Building Generator入门学习
  • RestTemplate 发送 JSON 请求时为何要手动序列化对象?
  • 用SpringBoot做一个web小案例实现登录
  • 16天 - 单例模式有哪几种实现?如何保证线程安全?什么是策略模式?一般用在什么场景?什么是模板方法模式?一般用在什么场景?