【Flink SQL实战】 UTC 时区格式的 ISO 时间转东八区时间

时间:2025-04-22 07:17:07

文章目录

    • 一、原始数据格式
    • 二、解决方案
    • 三、其他要求

在实际开发中,我们常常会遇到此类情况:数据源里的时间格式是类似 2025-04-21T09:23:16.025Z 这种带 TimeZone 标识的 ISO 8601 格式,而我们需要在 Flink SQL 中将其转换成北京时间显示。

然而,基于 Flink 1.16.1 版本的限制,新版本支持的 AT TIME ZONEFROM_UTC_TIMESTAMP 函数都无法使用,但我们仍可以通过原始时间序列分解合成 + TO_TIMESTAMP_LTZ 的方式来完成。

 

一、原始数据格式

如下列数据表格,其中 creat_time 为一条 UTC 时区格式的 ISO 时间字符串:

2025-04-21T09:23:16.025Z

需要转成北京时间:

2025-04-21 17:23:16

将 UTC +0 转成为 Asia/Shanghai 时区 (+8)

 

二、解决方案

我们通过 Flink SQL 里带格式分解来处理:

-- 源数据
CREATE TEMPORARY VIEW source_table AS
SELECT * FROM (
    VALUES
        ('2025-04-21T09:23:16.025Z'),
        ('2025-04-21T09:24:25.339Z')
) AS t(creat_time);

-- 转北京时间
CREATE TEMPORARY VIEW view1 AS SELECT
  creat_time,
  TO_TIMESTAMP_LTZ(
    UNIX_TIMESTAMP(SUBSTRING(creat_time, 1, 19), 'yyyy-MM-dd''T''HH:mm:ss') * 1000
    + CAST(SUBSTRING(creat_time, 21, 3) AS INT),
    3
  ) AS local_time
FROM source_table;


-- 转string
CREATE TEMPORARY VIEW view2 AS  SELECT
  creat_time,
  DATE_FORMAT(
    TO_TIMESTAMP_LTZ(
      UNIX_TIMESTAMP(SUBSTRING(creat_time, 1, 19), 'yyyy-MM-dd''T''HH:mm:ss') * 1000
      + CAST(SUBSTRING(creat_time, 21, 3) AS INT),
      3
    ),
    'yyyy-MM-dd HH:mm:ss.SSS'
  ) AS local_time_str
FROM source_table;


DESCRIBE view2;


  • SUBSTRING(creat_time, 1, 19) 提取 yyyy-MM-ddTHH:mm:ss
  • UNIX_TIMESTAMP(..., format) 转成秒级时戳
  • SUBSTRING(creat_time, 21, 3) 提取毫秒
  • TO_TIMESTAMP_LTZ(..., 3) 转为展示时区为北京时间的 timestamp

 

三、其他要求

确保 Flink SQL 环境里设置了下列配置:

SET table.local-time-zone = 'Asia/Shanghai';

这样 TO_TIMESTAMP_LTZ 输出才会是北京时间,而不是 UTC。