ClickHouse UDF 运行速度慢问题

一、环境版本

二、UDF运行速度时快时慢

udf配置文件xxx_function.xml
type- 可执行类型。如果type设置为executable则启动单个命令。如果设置为，executable_pool则创建命令池。
pool_size- 命令池的大小。可选参数，默认值为16。

<type>executable_pool</type>
<pool_size>60</pool_size>

三、UDF超时

udf配置文件xxx_function.xml
max_command_execution_time- 处理数据块的最大执行时间（以秒为单位）。该设置仅对命令有效executable_pool。可选参数，默认值为10。
command_termination_timeout- 管道关闭后命令应完成的时间（以秒为单位）。此后时间SIGTERM被发送到执行命令的进程。可选参数，默认值为10。
command_read_timeout- 从命令标准输出读取数据的超时时间（以毫秒为单位）。默认值 10000。可选参数。
command_write_timeout- 将数据写入命令 stdin 的超时（以毫秒为单位）。默认值 10000。可选参数。

<max_command_execution_time>120</max_command_execution_time>
<command_termination_timeout>120</command_termination_timeout>
<command_read_timeout>120000</command_read_timeout>
<command_write_timeout>120000</command_write_timeout>

四、完整xml配置

<functions>
    <function>
        <type>executable_pool</type>
        <name>demo_clickhouse_udf</name>
        <max_command_execution_time>120</max_command_execution_time>
        <command_termination_timeout>120</command_termination_timeout>
        <command_read_timeout>120000</command_read_timeout>
        <command_write_timeout>120000</command_write_timeout>
        <pool_size>60</pool_size>
        <return_type>String</return_type>
        <argument>
            <type>UInt64</type>
            <name>argument_1</name>
        </argument>
        <argument>
            <type>UInt64</type>
            <name>argument_2</name>
        </argument>
        <format>JSONEachRow</format>
        <execute_direct>0</execute_direct>
        <command>/usr/bin/java -jar /var/lib/clickhouse/user_scripts/demo_clickhouse_udf-1.0-SNAPSHOT-jar-with-dependencies.jar</command>
    </function>
</functions>