Information Science and Engineering

A Transformer-based intelligent prediction method for lithium-ion battery state of charge

  • Letian NIU , 1, 2 ,
  • Shaojie YANG 3 ,
  • Tianyi GUO 1 ,
  • Wei ZHANG , 1, 2
Expand
  • 1. College of Aerospace Engineering,Shenyang Aerospace University,Shenyang 110136,China
  • 2. Liaoning General Aviation Academy,Shenyang 110136,China
  • 3. Department of Mechanical and Aerospace Engineering,University of California San Diego,La Jolla 92093,USA

Received date: 2024-11-13

  Revised date: 2025-04-08

  Accepted date: 2025-04-12

  Online published: 2025-08-19

Abstract

The state of charge (SOC) of lithium-ion batteries is a critical parameter in the battery management system of new energy electric vehicles. To address the issue of insufficient SOC prediction accuracy for lithium-ion batteries under complex operating conditions,an intelligent SOC prediction method for electric vehicle lithium-ion batteries based on the Transformer neural network was proposed. Taking the Nissan Leaf battery as the research object, a charging and discharging test platform for new energy electric vehicle lithium-ion batteries was built to simulate the real energy demands of users and the dynamic changes in real-time energy needs. This platform dynamically adjusted the battery’s charging and discharging strategies, collected multi-dimensional battery data, and preprocessed the data. Then, a SOC prediction framework based on the Transformer model was constructed, which extracted complex time series features through neural networks, achieved high-precision predictions of lithium-ion battery SOC. The experimental results indicate that the proposed method outperforms other networks in prediction accuracy, with a mean absolute error of less than 1.51% and a RMSE of less than 0.48%, validating the effectiveness and accuracy of this method.

Cite this article

Letian NIU , Shaojie YANG , Tianyi GUO , Wei ZHANG . A Transformer-based intelligent prediction method for lithium-ion battery state of charge[J]. Journal of Shenyang Aerospace University, 2025 , 42(4) : 75 -82 . DOI: 10.3969/j.issn.2095-1248.2025.04.011

锂离子电池因其能量密度高、寿命长及自放电率低等优点,已经成为新能源电动汽车、新能源电动飞机等电动交通工具的首选能源解决方案。随着电动交通工具在全球范围内的普及,锂离子电池健康管理变得尤为重要。其中,锂离子电池荷电状态是电池健康管理系统的核心参数,精确的SOC预测技术可有效提高电池的利用率、延长电池组的使用寿命,对电动交通工具的行政规划及控制策略制定均具有重要意义1-3
锂离子电池的SOC预测方法主要分为基于模型的预测方法4-5及数据驱动的预测方法6-8。在基于模型的预测方法中,Sun等9提出一种基于变窗口自适应卡尔曼滤波的SOC估算方法,通过检测误差信息变化、更新误差矩阵以减小SOC估计误差。Plett10提出了一种加权最小二乘法,用于改进因电流和电压等测量噪声导致的准确率低下问题。刘芳等11提出了一种改进的遗传算法,用于电池内阻、极化内阻和电容等参数的在线辨识。这种改进方法有效地避免了遗传算法在锂电池模型参数辨识过程中易陷入局部最优解的局限性。Yang等12提出了一种基于模型的扩展卡尔曼滤波算法进行SOC估计,该算法结合了在Simulink环境中开发的车辆动力学模型,实现对SOC的精准预测。Pang等13提出了一种自适应卡尔曼滤波算法,将卡尔曼滤波与最小二乘法相结合,与传统的固定参数卡尔曼滤波相比,该方法能够显著减小SOC预测结果的偏差。赵剑坤等14提出了一种考虑电池衰退影响的动静态SOC估算方法,该方法基于安时积分法进行SOC估算,并通过引入电池健康状态(state of health,SOH)修正电池的初始有效容量。对于静态SOC估算,主要考虑电池衰退因素;而在动态SOC估算中,不仅考虑了电池的衰退,还综合考虑了运行电流和温度的影响。
尽管基于模型的预测方法在电池SOC预测中取得了一定成效,但在动态变化的使用环境和复杂操作条件下,这些方法难以全面捕捉电池性能随时间和工况变化的复杂性15-16。为应对这一挑战,许多学者开始了一系列基于数据驱动预测方法的研究。Shao等17提出了具有自适应奇异值分解变换无迹卡尔曼滤波的扩展输入到长短期记忆网络(long short-term memory,LSTM)方法,为两种不同电池在不同电流和温度下的SOC预测提供了较好的解决方案。Chen等18提出了一种结合长短期记忆网络和自注意力机制的模型,在正常温度下及高温条件下为SOC的预测提供了较为准确的方法。而针对温度变化下新能源汽车动力电池SOC估计不精确的问题,孙君光等19提出了一种基于神经网络和无迹卡尔曼滤波的修正方法,通过Thevenin等效电路模型、神经网络温度因子和递推最小二乘法相结合,精准捕捉温度变化对电池开路电压和容量的影响。Hosen20提出了一种基于卷积神经网络(convolutional neural network,CNN)对整段充电状态下的SOC进行估计,所提出方法可以灵活改变网络输入维度,准确地推导出锂离子电池临界状态下的充电曲线。Hu等21提出了基于非线性状态空间重构和LSTM的联合估计方法,有效地提高了SOC和电池健康状态的估计准确性。Zhang等22改进了安时积分法,利用长短期记忆网络模型提高了SOC估算方法的精度。Guo等23提出了采用卷积双向长短期记忆神经网络模型,将统计知识和物理知识融合,从而获得更加准确可靠的SOC估计。
尽管SOC预测研究已取得进展,但在动态环境下仍难以保持高精度和鲁棒性。现有方法多依赖物理模型或固定参数,难以应对复杂工况与电池状态的变化。基于人工智能的预测方法虽具潜力,但高度依赖于数据24。目前广泛使用的公开数据集如INR18650-20R、A123等型号电池容量较小,结构和性能与实际电动车电池差异明显,且采集工况单一,难以真实反映电池在不同温度与负载条件下的SOC变化,限制了研究成果的实际应用价值。
本文以日产Leaf电池为研究对象,搭建锂离子电池充放电测试平台,采集多温度、多负载下的多维度数据,并构建了优化版Transformer网络的SOC预测模型。该模型凭借强大的自注意力机制,能够有效捕捉电池状态的长期依赖关系,特别适用于处理复杂时序特征的SOC预测任务。实验结果表明,优化后的Transformer模型在预测精度上明显优于传统方法,克服了公开数据集在多样性和复杂性方面的局限,为实际应用中的SOC预测提供了有效手段,并为数据驱动方法在工业场景中的应用提供理论支持。

1 方法介绍

本文基于Transformer模型,构建了电动汽车锂离子电池SOC的预测方法,研究流程如图1所示。具体包括:
1) 搭建锂电池充放电测试平台,收集电池的关键数据,包括电压、电流等特征信息。按时间窗口序列化处理,并进行数据清洗与归一化,构建神经网络所需的标准化数据集。
2) 搭建了基于Transformer网络的新能源电动汽车锂电池SOC预测模型,训练并优化网络参数,使模型达到最佳的预测效果。
3) 使用优化后的模型,输入电池数据,生成电池的SOC退化曲线,预测其在不同工况下的SOC变化趋势。
Transformer模型嵌入的多头注意力机制使得网络可并行且高效地捕捉时间序列中的复杂时序关系,Transformer模型结构如图2所示。
图2 Transformer模型结构图

1.1 位置编码

位置编码向输入序列中添加位置信息,以便使模型能够理解输入数据的顺序关系,表示为
P E ( p o s , 2 i ) = s i n p o s 10   000 2 i / d P E ( p o s , 2 i + 1 ) = c o s p o s 10   000 2 i + 1 / d
式中:PE(pos2i)和PE(pos2i+1)分别为位置编码矩阵中的偶数和奇数位置;pos为位置;i为维度索引。通过引入位置编码,使得模型能够更好地理解和处理序列数据,为后续的模型训练和预测提供了基础。

1.2 多头注意力机制

图3所示,Self-Attention 结构是该模型的核心组成部分之一,通常由三部分组成:查询、键和值。三者的计算方式为
Q = Χ W Q K = Χ W K V = Χ W V
式中: WQ WK WV 均为可学习的权重矩阵。然后通过计算查询向量 Q 和键向量 K 之间的点积,并对结果进行缩放和softmax归一化,得到注意力权重矩阵 A
A = s o f t m a x Q K T d k
式中:dk 为键向量 K 的维度,最后通过注意力权重矩阵 A 与值向量 V 进行加权求和得到注意力机制部分的输出 Z
Z = A V
图3 多头注意力机制
多头注意力机制通过并行计算多个注意力头来捕获输入序列中的不同信息。通过引入多头注意力机制有效地增强了模型对序列数据的建模能力。

2 实验与结果

2.1 实验平台介绍

本文以日产Leaf电池为研究对象,该型号电池主要应用于日产聆风系列电动汽车,其续航里程可达160 km,电池主要参数如表1所示。
表1 电池主要参数
参数 数值
标称容量/Ah 56

电极活性材料

(阴极|阳极)

LiMn2O与LiNiO2|石墨
电压范围/V 2.6~4.2
SOC 范围/% 0~96
实验装置如图4所示,包括8个电池模块,每个模块包含2个电池单元,共计16个电池单元的电池组,用于记录电池充放电过程的I-tech电池测试仪。实验过程中,其充放电循环基于日前与实时能量调度切换进行设计与调整25

2.2 实验结果及性能分析

为验证本文所提方法的优越性,进一步采用3种常见神经网络作为对比,分别预测锂电池的SOC,具体包括循环神经网络、LSTM及CNN-LSTM模型。同时设定2个任务评估不同方法在锂电池数据集上的性能。每个任务包含20段完整放电数据,并随机选取4段为测试数据。
图5为任务1下不同网络预测对比图。从图5中可以看出,本文所提出的基于Transformer模型的锂离子电池SOC预测模型与对比模型相比,预测误差较小。在任务1下平均绝对误差分别为0.16%、0.23%、0.22%和0.20%。图5中黑色方框范围内,本文提出的模型误差最低,其平均绝对误差分别为0.06%、0.08%、0.14%和0.07%;在图5中灰色方框范围内,SOC的变化趋势较为复杂,而其依然保持了最小的平均绝对误差,分别为0.17%、0.38%、0.28%和0.29%。RNN网络的误差分别为0.95%、2.18%、1.83%和0.99%。这一结果充分证明了本文提出的模型在精度上的优势。
图5 任务1下不同网络预测对比图
图6为各模型在不同任务的RMSE误差对比。Transformer模型在所有任务中均表现优异,特别是在任务1-1中,其RMSE显著低于其他模型,展现了卓越的预测能力。
图6 各模型在不同任务的RMSE误差对比
综合来看,本文提出的模型在上述任务中的表现优于其他模型,RMSE误差较低,表明其预测准确性更高。然而,对于10%~30%的SOC预测结果相对较差,因此,如何解决这一挑战成为接下来研究的关键问题。
此外,本文还探究了模型维度、注意力头数、批次大小和前馈网络维度这4个关键参数对预测精度的影响。为了全面分析这些参数对模型性能的影响,针对每个参数分别设置了多种不同的组合,共设计了20组实验配置,模型具体参数设置如表2所示。
表2 模型具体参数设置
模型参数 训练轮数 模型维度 注意力头数 批次大小 前馈网络维度
A1 500 128 4 32 512
A2 500 256 4 32 1 024
A3 300 512 4 32 2 048
A4 300 768 4 32 3 072
A5 300 1 024 4 32 4 096
A6 500 128 8 64 512
A7 500 256 8 64 1 024
A8 300 512 8 64 2 048
A9 300 768 8 64 3 072
A10 300 1 024 8 64 4 096
A11 500 128 4 32 512
A12 500 256 4 32 1 024
A13 300 512 4 32 2 048
A14 300 768 4 32 3 072
A15 300 1 024 4 32 4 096
A16 500 128 8 64 512
A17 500 256 8 64 1 024
A18 300 512 8 64 2 048
A19 300 768 8 64 3 072
A20 300 1 024 8 64 4 096
为了验证不同参数设置对模型预测精度的影响,本文选取了2个电池的4个放电过程作为测试样本。不同参数配置下的RMSE误差如图7所示,圆球表示RMSE值,灰色圆球为最低值。通过比较不同参数配置下的模型性能,确定最优配置。
图7 不同参数配置下的RMSE误差
实验结果表明,增加模型维度可提升表示能力,特别在复杂数据集上表现更优,但超出一定值后,性能趋于平缓甚至过拟合,需合理选择以保证泛化能力。注意力头数的增加有助于捕捉多样特征,但增加了计算复杂度,实验表明适量头数可在性能与计算效率间达成平衡。批量大小影响训练稳定性与速度,适中值在精度和收敛速度上表现更优。因此,本文最终选择了一组经过优化的参数配置,用于模型的最终训练,以确保性能与效率的最佳平衡。

3 结论

针对锂离子电池SOC预测任务中不同模型的表现,Transformer模型展现了卓越的预测性能。具体结论如下:
1)相较于其他模型,Transformer在时序预测任务中展现了显著的优势。其独特的自注意力机制使其能够有效地捕捉长时间依赖关系,特别是在复杂时序数据的建模上,表现出较低的预测误差。相比传统模型,Transformer更擅长处理高维度和多变的时序数据,具备较强的泛化能力和稳定性。
2)实验结果表明,增加模型维度可以显著提升预测精度,但过高的维度可能导致过拟合。经过多组实验验证,选取适中的注意力头数量与合适的批量大小能够有效地提高模型的总体表现。
总体而言,本文验证了Transformer模型在电池SOC预测任务中的有效性。未来的研究将继续优化模型结构和数据处理方法,以提升预测精度,并探索更多实际应用场景中的潜在改进措施。
[1]
Zhang W Li X Li X.Deep learning-based prognostic approach for lithium-ion batteries with adaptive time-series prediction and on-line validation[J].Measurement2020164:108052.

[2]
Zhu Y F Li X Zhang Y W,et al.Cross-domain prognostic method of lithium-ion battery in new energy electric aircraft with domain adaptation[J].IEEE Sensors Journal202323(13):14487-14498.

[3]
华旸,周思达,何瑢,等.车用锂离子动力电池组均衡管理系统研究进展[J].机械工程学报201955(20):73-84.

[4]
Buchicchio E De Angelis A Santoni F,et al.Battery SOC estimation from EIS data based on machine learning and equivalent circuit model[J].Ener-gy2023283:128461.

[5]
Ding P Liu X J Li H Q,et al.Useful life prediction based on wavelet packet decomposition and two-dimensional convolutional neural network for lithium-ion batteries[J].Renewable and Sustai-nable Energy Reviews2021148:111287.

[6]
Korkmaz M.SoC estimation of lithium-ion batteries based on machine learning techniques:a filtered approach[J].Journal of Energy Storage202372:108268.

[7]
Zhou H Luo J Yu Z.Co-estimation of SOC and SOH for Li-ion battery based on MIEKPF-EKPF fusion algorithm[J].Energy Reports202310(11):4420-4428.

[8]
Sangeetha E P Subashini N Santhosh T K,et al.Validation of EKF based SoC estimation using vehicle dynamic modelling for range prediction[J].Electric Power Systems Research2024226:109905.

[9]
Sun D M Yu X L Wang C M,et al.State of charge estimation for lithium-ion battery based on an Intelligent Adaptive Extended Kalman Filter with improved noise estimator[J].Energy2021214:119025.

[10]
Plett G L.Recursive approximate weighted total least squares estimation of battery cell total capa-city[J].Journal of Power Sources2011196(4):2319-2331.

[11]
刘芳,马杰,苏卫星,等.基于模型参数在线辨识技术的SOC估算方法[J].东北大学学报(自然科学版)202041(11):1543-1549.

[12]
Yang B Li G Tang W, et al. Research on optimized SOC estimation algorithm based on extended Kalman filter [J]. Frontiers in Energy Research202210: 1027439.

[13]
Pang Y Z Zhang X Y Tian J T. The SOC estimation for power battery using KF method which parameters are updated by least square method [J]. Applied Mechanics and Materials2014694: 67-72.

[14]
赵剑坤,陈世龙,杨乃兴,等.锂离子电池全生命周期的动静态荷电状态估算方法[J].西安交通大学学报202458(10):44-50.

[15]
Chen P Y Mao Z Y Wang C Y,et al.A novel RBFNN-UKF-based SOC estimator for automatic underwater vehicles considering a temperature compensation strategy[J].Journal of Energy Sto-rage202372:108373.

[16]
Takyi-Aninakwa P Wang S L Liu G C,et al.Enhanced extended-input LSTM with an adaptive singular value decomposition UKF for LIB SOC estimation using full-cycle current rate and temperature data[J].Applied Energy2024363:123056.

[17]
Shao Y X Zheng Y J Zhang J N,et al.A cloud capacity estimation method for electric vehicle lithium-ion battery independent of cloud SOC[J].Journal of Energy Storage202485:110998.

[18]
Chen G X Peng W W Yang F F.An LSTM-SA model for SOC estimation of lithium-ion batteries under various temperatures and aging levels[J].Journal of Energy Storage202484:110906.

[19]
孙君光,杜睿,陈立新,等.考虑温度变化的新能源汽车动力电池荷电状态估计[J].西安交通大学学报202458(11):39-51.

[20]
Hosen M S.A quick battery charging curve prediction by artificial neural network[J].Patterns20212(9):100338.

[21]
Hu J X Hu W H Cao D,et al.Probabilistic net load forecasting based on transformer network and Gaussian process-enabled residual modeling lear-ning method[J].Renewable Energy2024225:120253.

[22]
Zhang H L Tang W Na W,et al.Implementation of generative adversarial network-CLS combined with bidirectional long short-term memory for lithium-ion battery state prediction[J].Journal of Energy Storage202031:101489.

[23]
Guo X Y Lin X Yang X,et al.UCTNet:Uncertainty-guided CNN-Transformer hybrid networks for medical image segmentation[J].Pattern Recognition2024152:110491.

[24]
Li X Zhang W Li X,et al.Partial domain adaptation in remaining useful life prediction with incomplete target data[J].IEEE/ASME Transactions on Mechatronics202429(3):1903-1913.

[25]
Yang S Ling L Li X, et al. Industrial battery state-of-health estimation with incomplete limited data towards second-life applications [J]. Journal of Dynamics, Monitoring and Diagnostics20243(4):246-257.

Outlines

/