当前位置：首页 > article >正文

Java爬虫调用API时的异常处理策略

article 2025/1/22 11:10:12

在使用Java爬虫调用API时，异常处理是确保程序稳定运行的关键环节。网络请求可能会遇到各种问题，如网络超时、服务器错误、数据格式错误等。合理地处理这些异常可以提高爬虫的健壮性和可靠性。以下是一些常见的异常处理策略和代码示例。

一、常见的异常类型

（一）网络异常

连接超时（ConnectTimeoutException）：无法在指定时间内建立连接。
读取超时（SocketTimeoutException）：连接建立后，无法在指定时间内读取数据。
DNS解析失败（UnknownHostException）：无法解析目标域名。

（二）HTTP异常

HTTP状态码错误（HttpResponseException）：服务器返回的HTTP状态码表示请求失败，如404（未找到）、500（服务器错误）等。
SSL证书错误（SSLHandshakeException）：在使用HTTPS时，SSL证书验证失败。

（三）数据解析异常

JSON解析错误（JsonParseException）：返回的数据格式不符合JSON规范，无法解析。
字段缺失（NullPointerException）：解析JSON时，某些预期字段不存在。

二、异常处理策略

（一）捕获异常

使用try-catch块捕获可能的异常，并进行适当的处理。

（二）重试机制

在网络请求失败时，可以设置重试机制，增加请求成功的概率。

（三）日志记录

记录异常信息，便于后续排查问题。

（四）优雅降级

在某些情况下，即使请求失败，也可以提供部分数据或默认值，而不是直接抛出异常。

三、代码示例

以下是一个完整的Java代码示例，展示如何在调用API时处理异常：

import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import com.fasterxml.jackson.databind.ObjectMapper;

import java.io.IOException;

public class ApiCrawler {
    public static void main(String[] args) {
        String url = "https://api.example.com/data";
        int maxRetries = 3;  // 最大重试次数
        int retryCount = 0;

        while (retryCount < maxRetries) {
            try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
                HttpGet request = new HttpGet(url);
                HttpResponse response = httpClient.execute(request);

                if (response.getStatusLine().getStatusCode() == 200) {
                    String jsonResponse = EntityUtils.toString(response.getEntity());
                    ObjectMapper mapper = new ObjectMapper();
                    Map<String, Object> data = mapper.readValue(jsonResponse, Map.class);
                    System.out.println("Data: " + data);
                    break;  // 请求成功，退出循环
                } else {
                    System.out.println("Request failed with status code: " + response.getStatusLine().getStatusCode());
                }
            } catch (UnknownHostException e) {
                System.out.println("UnknownHostException: " + e.getMessage());
            } catch (SocketTimeoutException e) {
                System.out.println("SocketTimeoutException: " + e.getMessage());
            } catch (IOException e) {
                System.out.println("IOException: " + e.getMessage());
            } catch (Exception e) {
                System.out.println("Unexpected exception: " + e.getMessage());
            }

            retryCount++;
            System.out.println("Retrying... Attempt " + retryCount);
        }

        if (retryCount == maxRetries) {
            System.out.println("Max retries reached. Request failed.");
        }
    }
}

代码解析

捕获异常：使用try-catch块捕获可能的异常，包括网络异常、HTTP异常和IO异常。
重试机制：在捕获异常后，增加重试次数，直到达到最大重试次数。
日志记录：在捕获异常时，记录异常信息，便于排查问题。

四、注意事项

（一）合理设置超时时间

在创建HttpClient时，可以设置连接超时和读取超时时间，避免程序长时间等待。

CloseableHttpClient httpClient = HttpClients.custom()
    .setConnectTimeout(5000)  // 设置连接超时时间为5秒
    .setSocketTimeout(10000)  // 设置读取超时时间为10秒
    .build();

（二）处理HTTP状态码

根据返回的HTTP状态码，可以进行不同的处理。例如，对于404错误，可以记录日志并跳过；对于500错误，可以重试。

（三）优雅降级

在某些情况下，即使请求失败，也可以提供部分数据或默认值，而不是直接抛出异常。例如，如果某个字段缺失，可以使用默认值替代。

（四）日志记录

使用日志框架（如SLF4J、Logback）记录异常信息，便于后续排查问题。

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class ApiCrawler {
    private static final Logger logger = LoggerFactory.getLogger(ApiCrawler.class);

    public static void main(String[] args) {
        String url = "https://api.example.com/data";
        int maxRetries = 3;
        int retryCount = 0;

        while (retryCount < maxRetries) {
            try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
                HttpGet request = new HttpGet(url);
                HttpResponse response = httpClient.execute(request);

                if (response.getStatusLine().getStatusCode() == 200) {
                    String jsonResponse = EntityUtils.toString(response.getEntity());
                    ObjectMapper mapper = new ObjectMapper();
                    Map<String, Object> data = mapper.readValue(jsonResponse, Map.class);
                    logger.info("Data: {}", data);
                    break;
                } else {
                    logger.warn("Request failed with status code: {}", response.getStatusLine().getStatusCode());
                }
            } catch (Exception e) {
                logger.error("Exception occurred: {}", e.getMessage(), e);
            }

            retryCount++;
            logger.info("Retrying... Attempt {}", retryCount);
        }

        if (retryCount == maxRetries) {
            logger.error("Max retries reached. Request failed.");
        }
    }
}