Inductive Transfer and Deep Neural Network Learning-Based Cross-Model Method for Short-Term Load Forecasting in Smarts Grids

In a real-world scenario of load forecasting, it is crucial to determine the energy consumption in electrical networks. The energy consumption data exhibit high variability between historical data and newly arriving data streams. To keep the forecasting models updated with the current trends, it is important to fine-tune the models in a timely manner. This article proposes a reliable inductive transfer learning (ITL) method, to use the knowledge from existing deep learning (DL) load forecasting models, to innovatively develop highly accurate ITL models at a large number of other distribution nodes reducing model training time. The outlier-insensitive clustering-based technique is adopted to group similar distribution nodes into clusters. ITL is considered in the setting of homogeneous inductive transfer. To solve overfitting that exists with ITL, a novel weight regularized optimization approach is implemented. The proposed novel cross-model methodology is evaluated on a real-world case study of 1000 distribution nodes of an electrical grid for one-day ahead hourly forecasting. Experimental results demonstrate that overfitting and negative learning in ITL can be avoided by the dissociated weight regularization (DWR) optimizer and that the proposed methodology delivers a reduction in training time by almost 85.6% and has no noticeable accuracy losses.

Dans un scénario réel de prévision de la charge, il est crucial de déterminer la consommation d’énergie dans les réseaux électriques. Les données relatives à la consommation d’énergie présentent une grande variabilité entre les données historiques et les nouveaux flux de données. Afin de maintenir les modèles de prévision à jour avec les tendances actuelles, il est important d’affiner les modèles en temps voulu. Cet article propose une méthode fiable d’apprentissage par transfert inductif (ITL), pour utiliser les connaissances des modèles de prévision de la charge par apprentissage profond (DL) existants, afin de développer de manière innovante des modèles ITL très précis à un grand nombre d’autres nœuds de distribution, en réduisant le temps d’apprentissage du modèle. La technique de regroupement insensible aux valeurs aberrantes est adoptée pour regrouper les nœuds de distribution similaires en grappes. L’ITL est considérée dans le cadre d’un transfert inductif homogène. Pour résoudre le problème de surajustement qui existe avec l’ITL, une nouvelle approche d’optimisation régularisée par le poids est mise en œuvre. La nouvelle méthodologie de modèle croisé proposée est évaluée sur une étude de cas réelle de 1000 nœuds de distribution d’un réseau électrique pour la prévision horaire à un jour. Les résultats expérimentaux démontrent que le surajustement et l’apprentissage négatif dans l’ITL peuvent être évités par l’optimiseur de régularisation de poids dissocié (DWR) et que la méthodologie proposée permet de réduire le temps de formation de près de 85,6 % et n’entraîne pas de perte de précision notable.

Other Information

Published in: IEEE Canadian Journal of Electrical and Computer Engineering
License: https://creativecommons.org/licenses/by/4.0/
See article on publisher's website: https://dx.doi.org/10.1109/icjece.2023.3253547

Additional institutions affiliated with: Department of Electrical and Computer Engineering - TAMQ