机器人打包物品研究现状简述

前言

在商品出货之前，需要完成对其的打包和装箱以便于物流运输。由于商品的种类繁杂且会涉及到不同刚度的物体的打包，所以物品的打包目前多依赖于人力，近年来使用机器人对物品打包的研究越来越多。

其中，商品的打包一般分为两个阶段，第一阶段为将商品装入盒子（或其他容器）中，第二阶段是将这些盒子装入到更大的容器中以便于运输。第一阶段多在商品出货（厂）前完成，第二阶段常见于物流运输阶段。

本文分别概述了阶段1和阶段2的研究现状，最后以鞋子为例概述了其打包现状。

一、阶段1：装箱打包

装箱打包分为刚性物体和柔性物体的打包。对于刚性物体的打包，首先被关注到的是形状规则的立方体物体的打包，如下图1（a）和（b）所示。

对于规则立方体的打包，主要目标是为了保证紧凑性。图1（a）使用吸盘对小盒子进行紧凑打包，结合视觉感知和操作原语（如topple, pull, push）完成了小盒子的紧凑打包。而图1（b）为了进一步提高紧凑打包的效率，使用了两指夹持器，结合了视觉全局感知和力的局部感知直接完成紧凑打包，省去了操作原语对打包物体的微调过程。

对于不规则物品的打包，其目标是最大化包装密度（节省空间），同时能够满足其他约束如物品摆放稳定性和机器人的可达性等。图1（c）和（d）分别展示了用于不规则物品打包的启发式方法和基于Learning的方法。

Fig 1. 机器人紧凑打包案例。（a）使用吸盘和原语紧凑打包 [1, 2]。（b）基于二指夹爪和力感知的紧凑打包 [3]。（c）不规则形状的物体的紧凑装箱打包 [4, 5]。（d）基于分层强化学习的不规则形状物体的打包 [6]。

近年来被打包物体也延伸到了柔性物体，这些柔性物体涉及到线性柔性物体（图2（a）），织物（图2（b））等，此外还将打包容器扩展到了三维柔性物体，如布袋（图2（b））和塑料袋（图2（c））。

对于这些柔性物体的打包，由于其自身的易变形的特性，其打包任务在视觉和操作方面均具有挑战，以上相关工作主要在这两方面进行深入研究寻找解决方案。

Fig 2. 机器人打包柔性物体。（a）双臂机器人打包长线形弹性物体 [9]。（b）机器人学习能够适用于不同类型物体的打包策略 [7]。（c）机器人学习打开塑料袋并放入物体 [8]。

二、阶段2：箱子打包

在物流运输阶段，需要对上一步完成的不同尺寸的盒子进行进一步装箱码垛，如下图3所示。其目的是将一组物品装入更大的容器中，并尽可能提高空间利用率，此问题被定义为3D Bin Packing Problem (3D-BPP)。

通常3D-BPP问题分为在线3D-BPP [10-12] 和离线3D-BPP问题 [13, 14]。在线3D-BPP指的是物品逐个到达且决策不可逆的三维装箱问题，而离线3D-BPP则是所有物品信息已知且可以调整装箱方案的问题。两者在实际应用和算法设计上有着显著的不同。

关于3D-BPP问题，目前已经有大量的研究工作，这些解决方案包括启发式方法 [13, 14]，基于学习的方法 [11, 12]，和它们相结合的方法 [10]。除了节省空间的目标之外，有时也需要考虑其他装箱约束，如承重、稳定性、高度均匀性和重量限制等。

Fig 3. 机器人码垛装箱示意图 [12]。

三、案例：鞋子打包

最后以鞋子为例展示了其打包过程。下图4（a）所示为鞋子的打包流程及其准备工作，其主要子任务包括清洁、质量控制和将鞋子放入鞋盒中。对于鞋子包装子任务，工人首先确认两双鞋是否匹配，然后在盒子上写上鞋号，并将鞋子放入盒子中（有时必须放入一些纸和/或塑料袋来分隔和保护它们），最后用盖子盖上盒子。这项子任务需要 20 到 25 秒的时间。

来自西班牙研究人员率先做过鞋子打包的研究，所开发的机器人系统的打包算法包括物体检测，物体抓取，具有避障功能的轨迹规划，以及基于力/扭矩传感的人机交互 [17-19]。机器人采用类人双臂机器人是因为它也可以应用于解决未来其他类似甚至更复杂的任务，从而为鞋类行业的自动化提供整体方案。

国内的研究人员在2023年也提出了鞋类产品的初步打包方案，在多步骤的鞋子打包任务中，考虑了纸张柔性材料的抓取与操作 [15]。此外，巧妙地利用了外界资源（如接触和重力）仅用一个柔性夹爪就完成了鞋子的打包任务，比如利用重力展平纸张，利用与鞋盒的接触和重力使得鞋子翻滚到指定位姿。

除了上述提到的鞋子打包的研究工作，工作[16]也提出了鞋盒的装箱方案，详细工作请参考原文。

Fig 4. 鞋子打包流程与机器人打包实验。（a）物流运输之前的鞋子打包流程 [17-19]。（b）双臂机器人打包鞋子 [17-19]。（c）利用单柔性夹爪和外界资源打包鞋子 [15]。

总结

本文简单介绍了使用机器人开展物品打包和打包之后的装箱两个阶段的研究现状，最后以鞋子产品的打包为例概述其打包过程以及相关的研究工作。

Reference

[1] Shome R, Tang W N, Song C, et al. Towards robust product packing with a minimalistic end-effector[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 9007-9013.
[2] Shome R, Tang W N, Song C, et al. Tight Robot Packing in the Real World: A Complete Manipulation Pipeline with Robust Primitives[J]. arXiv preprint arXiv:1903.00984, 2019.
[3] Zhou Z, Zhang Z, Xie K, et al. A Method of Tight Placement for Robotic Dense Packing[C]//2022 International Conference on Advanced Robotics and Mechatronics (ICARM). IEEE, 2022: 707-712.
[4] Wang F, Hauser K. Stable bin packing of non-convex 3D objects with a robot manipulator[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 8698-8704.
[5] Wang F, Hauser K. Dense robotic packing of irregular and novel 3D objects[J]. IEEE Transactions on Robotics, 2021, 38(2): 1160-1173.
[6] Huang S, Wang Z, Zhou J, et al. Planning irregular object packing via hierarchical reinforcement learning[J]. IEEE Robotics and Automation Letters, 2022, 8(1): 81-88.
[7] Bahety A, Jain S, Ha H, et al. Bag all you need: Learning a generalizable bagging strategy for heterogeneous objects[C]//2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2023: 960-967.
[8] Chen L Y, Shi B, Seita D, et al. Autobag: Learning to open plastic bags and insert objects[C]//2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023: 3918-3925.
[9] Ma W, Zhang B, Han L, et al. Action planning for packing long linear elastic objects into compact boxes with bimanual robotic manipulation[J]. IEEE/ASME Transactions on Mechatronics, 2022, 28(3): 1718-1729.
[10] Yang S, Song S, Chu S, et al. Heuristics integrated deep reinforcement learning for online 3d bin packing[J]. IEEE Transactions on Automation Science and Engineering, 2023, 21(1): 939-950.
[11] Jia J, Shang H, Chen X. Robot online 3D bin packing strategy based on deep reinforcement learning and 3D vision[C]//2022 IEEE International Conference on Networking, Sensing and Control (ICNSC). IEEE, 2022: 1-6.
[12] Zhao H, Zhu C, Xu X, et al. Learning practically feasible policies for online 3D bin packing[J]. Science China Information Sciences, 2022, 65(1): 112105.
[13] Tresca G, Cavone G, Carli R, et al. Automating bin packing: A layer building matheuristics for cost effective logistics[J]. IEEE Transactions on Automation Science and Engineering, 2022, 19(3): 1599-1613.
[14] Agarwal M, Biswas S, Sarkar C, et al. Jampacker: An efficient and reliable robotic bin packing system for cuboid objects[J]. IEEE Robotics and Automation Letters, 2020, 6(2): 319-326.
[15] Dong Y, Duan J, Liu Y, et al. Robotic Shoe Packaging Strategies Based on a Single Soft-Gripper System and Extrinsic Resources[C]//2023 International Conference on Advanced Robotics and Mechatronics (ICARM). IEEE, 2023: 469-475.
[16] Vieira M V C, Ferreira F, Duque J C M, et al. On the packing process in a shoe manufacturer[J]. Journal of the Operational Research Society, 2021, 72(4): 853-864.
[17] Pérez-Vidal C, Gracia L, de Paco J M, et al. Automation of product packaging for industrial applications[J]. International Journal of Computer Integrated Manufacturing, 2018, 31(2): 129-137.
[18] Gracia L, Perez-Vidal C, Mronga D, et al. Robotic manipulation for the shoe-packaging process[J]. The International Journal of Advanced Manufacturing Technology, 2017, 92: 1053-1067.
[19] Morales R, Badesa F J, García-Aracil N, et al. Bimanual Robot Manipulation and Packaging of Shoes in Footwear Industry[C]//ROBOT2013: First Iberian Robotics Conference: Advances in Robotics, Vol. 1. Springer International Publishing, 2014: 315-329.