字段缺失与格式不统一怎么处理

← 返回项目公示栏目

先判断是否必须回源

不同来源的公示信息，字段完整度差异较大。处理的第一步是判断缺失字段是否影响判断：影响核心判断的必须回源核对，仅用于统计的可以标注为未知。

处理顺序

• 回源核对：打开原始页面确认是否确有该字段，避免因抓取不全造成缺失。
• 统一映射：把不同来源的同义字段映射到统一字段，注明映射依据。
• 标准化：统一时间格式、地名写法、单位与标点。
• 标注：无法补齐的字段标注为未提供，不要用推测值填充。

格式不统一的常见情形

时间出现多种写法、金额含不同单位、地区写到不同层级、名称带前缀后缀。这些问题的处理方式应写入数据规范，避免每人处理方式不同。

保留原始值

标准化后的字段与原始值建议同时保留，便于回查判断依据。特别是名称与时间字段，原始表述在回源核对时更有用。

统计口径要说明

存在缺失字段时，统计结果应注明样本量与缺失情况。用不完整的数据直接给出比例或排名，容易产生误导，也会让后续使用者对数据失去信任。