当前位置：首页 > article >正文

解决MyBatis在 Oracle 中使用 IN 语句不能超过 1000 问题

article 2025/1/19 17:10:51

在 Oracle 数据库中，IN 语句常用于查询某个字段是否属于一组特定的值。对于大多数开发者而言，IN 是一种简单直观的查询方式，能够提升开发效率，避免过多的 OR 语句。然而，许多人在使用 IN 语句时可能遇到一个问题，即查询中的 IN 子句无法处理超过 1000 个元素。这一限制是 Oracle 数据库的内在设计问题，虽然不常见，但一旦遇到，可能会造成应用程序崩溃或性能问题。

为什么会有 IN 语句限制？

Oracle 数据库对 IN 语句的限制是由 Oracle 的 SQL 解析器在设计时决定的。具体来说，Oracle 限制了在单个 SQL 查询中 IN 子句能够接受的最大参数数量为 1000 个。这意味着，如果我们在 IN 子句中列出超过 1000 个值，Oracle 会抛出类似以下错误：

ORA-01795: maximum number of expressions in a list is 1000

这种限制的原因主要是为了避免解析器需要处理过多的参数，这样做有助于保证系统的性能和资源管理。然而，在实际开发中，尤其是数据量非常大的情况下，这种限制可能会影响业务逻辑的实现。

解决 Oracle IN 语句超过 1000 问题的方案

1. 分批次使用 IN 语句

最简单的解决方案就是将超过 1000 个的元素分批处理。具体做法是将数据分成多个子集，每个子集包含 1000 个或更少的元素，然后为每个子集执行一个 IN 查询。

    /**
     * 拆分多条SQL执行大数据量IN查询
     *
     * @throws IOException
     */
    @Test
    public void test_listOrder_batch() throws IOException {
        SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(Resources.getResourceAsReader("mybatis-config.xml"));
        SqlSession sqlSession = sqlSessionFactory.openSession();
        OrderMapper mapper = sqlSession.getMapper(OrderMapper.class);
        UserOrderRequest request = new UserOrderRequest();
        List<String> orderIdList = new ArrayList<>();
        for (int i = 0; i < 15000; i++) {
            orderIdList.add(String.valueOf(i));
        }
        // 查询结果
        List<Order> ordersResult = new ArrayList<>();
        // 分批次查询
        List<List<String>> splitOrderIdList = Lists.partition(orderIdList, 1000);
        for (List<String> splitList : splitOrderIdList) {
            request.setOrderIdList(splitList);
            ordersResult.addAll(mapper.selectOrders(request));
        }
    }

2.使用 foreach 动态生成 IN 子句,一条SQL处理

上面的方式会需要拆分为多次SQL执行，如果想要在一个SQL中完成可以通过双重foreach。使用 foreach 动态生成 IN 子句是一种常见的处理批量查询的方法，但当数据量很大时，需要注意 SQL 长度和数据库限制。

    <select id="selectOrders" resultType="com.zy.client.bean.Order">
        SELECT * FROM orders WHERE 1=1
        <if test="splitOrderIdList !=null and  splitOrderIdList.size()>0">
            and (
            <foreach collection="splitOrderIdList" item="orderIdList" open="(" close=")" separator="OR">
                order_id in
                <foreach collection="orderIdList" item="orderId" open="(" close=")" separator=",">
                    #{orderId}
                </foreach>
            </foreach>
            )
        </if>
    </select>

  @Test
    public void test_listOrder_foreach2() throws IOException {
        SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(Resources.getResourceAsReader("mybatis-config.xml"));
        SqlSession sqlSession = sqlSessionFactory.openSession();
        OrderMapper mapper = sqlSession.getMapper(OrderMapper.class);
        UserOrderRequest request = new UserOrderRequest();
        List<String> orderIdList = new ArrayList<>();
        for (int i = 0; i < 3; i++) {
            orderIdList.add(String.valueOf(i));
        }
        List<List<String>> splitOrderIdList = Lists.partition(orderIdList, 2);
        request.setSplitOrderIdList(splitOrderIdList);
        List<Order> orders = mapper.selectOrders(request);
        log.info("输出结果：{}", orders);
    }

执行SQL示例

SELECT *
FROM orders
WHERE 1 = 1
  and (
    (
                order_id in (
                             '0', '1'
                )
            OR order_id in (
            '2'
            )
        )
    );