arcgis 切片分析录入mongodb
将arcgis的切片数据录入mongodb，这样可以支持自定义的server发步
以下是对3种arcgis切片规则的分析
松散型
也就是我们常见的文件式的切片管理方式，将 Arcgis Server 切出来的切片图片按照行列号的规范，存储在相应的文件夹中。
循环所有.png文件路径，存入mongodb数据库
for (let i = 0; i < total; i++)
{
console.log("循环录入文件：" + i + "/" + total + "\t" + filesPaths[i]);
let filePath = filesPaths[i];
let data = fs.readFileSync(filePath);
filePath = filePath.replace(/\\/g, '/');
filePath = filePath.replace(rootFolder + '/', '');
//L08\R00000061\C000000D3.png
var infoString = filePath.replace(".png", "");
let level = parseInt(infoString.split('/')[0].replace("L", ""));
let row = parseInt(infoString.split('/')[1].replace("R", ""), 16);
let column = parseInt(infoString.split('/')[2].replace("C", ""), 16);
let b3dmData = { 'level': level, 'row': row, 'column': column, 'fullPath': filePath, 'data': data };
b3dmDataSet.push(b3dmData);
if (i != 0 && i % 10000 == 0)
{
await collection.insertMany(b3dmDataSet);
b3dmDataSet = [];
let proc = (i / total).toFixed(2) * 100;
console.log('已完成 ' + proc + '%');
} else if (i == filesPaths.length - 1)
{
await collection.insertMany(b3dmDataSet);
b3dmDataSet = [];
await client.close();
console.log('已完成 100%');
}
}早期紧凑型
将切好的切片转化成.bundle和.bundlex的两种文件格式存储。
-
其中bundle文件用以存储切片数据，bundlx 是 bundle 文件中切片数据的
索引文件； -
一个 bundle 文件中最多可以存储128×128（16384）个切片；
-
在 bundlx 文件中用
固定的字节数量（5字节）标识一个切片在 bundle 文件中的状态（偏移量）；每个 bundlx 文件都是一样的大小：81952字节，起始16字节和文件结束16字节与索引无关，剩余的81920字节数据以5个字节的频率重复，构成了一个对bundle文件的索引【注：16384 * 5 = 81920】；这5个字节标示了切片数据的偏移量。 -
在 bundle 文件中，每2个切片数据之间相隔了4个字节；这4个字节正好是以低位到高位的方式标示了后续这个切片数据的长度。
-
切片数据的长度（4字节）和数据偏移（5字节）是无符号的整数。
-
bundlx 文件的文件名，包含了切片的行列信息，而它所在的文件夹名称（目录名称），则包含切片的级别信息。
因此，我们如果知道了一个切片的级别、行号、列号，就可以找到相应的 bundlx 文件，并通过 bundlx 首先找到bundle中切片内容的偏移，然后从bundle文件中取出4个字节的长度数据，再随后根据这个长度读取真实的切片数据。
假设已知切片的级别、行号和列号，求对应的 bundlx 文件：
目录名：L开头，并加上级别，级别不足2位的，高位补0，例如：L01,L19等。
文件名：R开头，加上4位16进制数（行号组最小行号），
再加上字母C，最后加上4位16进制数（列号组最小列号），
例如：R0080C0080.bundlx
行号组最小行号、列号组最小列号 的计算：
（1）因为一个 bundle 文件中最多可以存储 128×128 个切片，所以，
行号/128，向下取整，得到切片所在的“行号组的序数 r”（即第 r 组）；
列号/128，向下取整，得到切片所在的“列号组的序数 c”（即第 c 组）；
r * 128，得到所在行组的最小行号 rrrr；
c * 128，得到所在列组的最小列号 cccc；
（2）将 rrrr 和 cccc 转成 16 进制数，并转化为长度为4的字符串（不足4位时，高位补0）；
找到 bundlx 文件：
（3）拼接出文件名：R{rrrr}C{cccc}.bundlx
（4）拼接出路径：_alllayers\level\R{rrrr}C{cccc}.bundlx
--------------------------------
假设已知切片的级别、行号和列号，求对应的切片数据：
（1）求切片的序数：
行号 - 行号组最小行号(即:行号-rrrr)，得到切片在当前行号组的序数 m;
列号 - 列号组最小列号(即:列号-cccc)，得到切片在当前列号组的序数 n;
m + 128 *n，得到切片在 bundle 文件中的序数 index（即：切片是 bundle 中总共的16384 张切片中的第 index 张切片）;
（2）求切片的位置（偏移量）：
因为在 bundlx 文件中，每张切片的位置信息用5字节表示，且头部有16个起始字节，所以，前（16 + 5 * index）个字节需要忽略；之后的5字节是切片的位置信息，如下解析切片的位置信息：
偏移量 offset = 第0字节 + 第1字节 * 256 + 第2字节 * 256 * 256 + 第3字节 * 256 * 256 * 256 + 第4字节 * 256 * 256 * 256 * 256。
（3）求切片的长度：
因为切片之前4个字节，是切片的长度信息，所以 用 offset 之后的四个字节来计算切片的长度，如下：
切片长度 length = 第0字节 + 第1字节 * 256 + 第2字节 * 65536 + 第3字节 * 16777216
（4）读取切片
offset 之后 length 个字节，就是切片的图片流。以下是为了将arcgis切片数据存入mongodb中的核心代码
filepath为各个索引文件路径
b3dmDataSet为要存入mongodb的数据集
//读取索引文件
let indexData = fs.readFileSync(filePath);
//读取数据文件
let imgdata = fs.readFileSync(filePath.replace(".bundlx", ".bundle"));
filePath = filePath.replace(/\\/g, '/');
filePath = filePath.replace(rootFolder + '/', '');
let level = parseInt(filePath.split('/')[0].replace("L", ""));
let filename = filePath.split('/')[1].split('.')[0];
let minRow = parseInt(filename.split('C')[0].replace("R", ""), 16);
let minColumn = parseInt(filename.split('C')[1].replace("C", ""), 16);
for (var rowindx = minRow; rowindx < minRow + size; rowindx++)
{
for (var colindx = minColumn; colindx < minColumn + size; colindx++)
{
var currentImageData = [];
//读取数据
{
//计算切片序号
var indexQP = (rowindx - minRow) + (colindx - minColumn) * size;
//计算切片偏移量
var offset = 0;
{
//需要忽略的长度
var hLength = 16 + (5 * indexQP);
//计算切片偏移量
offset = //indexData.readUInt16LE(hLength);
indexData[hLength] +
(indexData[hLength + 1] * 256) +
(indexData[hLength + 2] * 256 * 256) +
(indexData[hLength + 3] * 256 * 256 * 256) +
(indexData[hLength + 4] * 256 * 256 * 256 * 256);
}
//计算切片长度
var qpLenth = imgdata[offset] +
(imgdata[offset + 1] * 256) +
(imgdata[offset + 2] * 256 * 256) +
(imgdata[offset + 3] * 256 * 256 * 256);
currentImageData = imgdata.slice(offset + 4, offset + 4 + qpLenth);
}
if (currentImageData.length > 0)
{
let b3dmData = { 'level': level, 'row': rowindx, 'column': colindx, 'fullPath': filePath, 'data': currentImageData };
b3dmDataSet.push(b3dmData);
}
}
}10.3以后的紧凑型（未验证）
将切好的切片转化成.bundle的格式来存储。
- 切片的索引、切片的偏移和切片的图片流都必然包含在这一
.bundle文件中； - 头信息：
.bundle文件起始 64 字节 是 bundle 的文件头信息； - 位置信息：头信息之后，记录了 16384 张切片的位置；每个位置信息，用8个字节表示；仅前4字节有用，从低位到高位；后4字节可忽略；
- 图片流信息：位置信息之后，是图片流信息；每个切片图，先以4字节记录切片的长度，而后紧跟图片的流信息。
.bundle文件的文件名以及所在文件夹的名称，包含切片的级别、行列信息。
假设已知切片的级别、行号和列号，求对应的 bundle 文件：
求取方式同 “假设已知切片的级别、行号和列号，求对应的 bundlx 文件”。
--------------------------------
假设已知切片的级别、行号和列号，求对应的切片数据：
（1）求切片的序数：
行号 - 行号组最小行号(即:行号-rrrr)，得到切片在当前行号组的序数 m;
列号 - 列号组最小列号(即:列号-cccc)，得到切片在当前列号组的序数 n;
128 * m + n，得到切片在 bundle 文件中的序数 index（即：切片是 bundle 中总共的16384 张切片中的第 index 张切片）;
（2）求切片的位置（偏移量）：
因为每张切片的位置用8字节表示，且头信息占64字节，所以，前（64 + 8 * index）个字节需要忽略；之后的8字节是切片的位置信息（仅前4字节有用），如下解析切片的位置信息：
偏移量 offset = 第1字节 + 第2字节 * 256 + 第3字节 * 65536 + 第4字节 * 16777216。
（3）求切片的长度：
因为切片之前4个字节，是切片的长度信息，所以 用（offset-4）之后的四个字节来计算切片的长度，如下：
切片长度 length = 第0字节 + 第1字节 * 256 + 第2字节 * 65536 + 第3字节 * 16777216
（4）读取切片
offset 之后 length 个字节，就是切片的图片流。