News
Forschungsaufenthalt und Oberseminarvortrag „Learning the time step size in Deep Neural Networks“ von Evelyn Herberg
Donnerstag, den 8. Dezember 2022 um 14:30 Uhr
Am Donnerstag, dem 8. Dezember 2022 um 14:30 Uhr spricht im Seminarraum S 131, Gebäude NW III.
Frau Dr. Ing. Evelyn Herberg [en]
Scientific Computing and Optimization [en]
Interdisciplinary Center for Scientific Computing (IWR) [en] Ruprecht-Karls-Universität Heidelberg
im Rahmen des
Oberseminars "Numerische Mathematik, Optimierung und Dynamische Systeme"
über das Thema
„Learning the time step size in Deep Neural Networks“.
Evelyn Herberg ist am 7.-9. Dezember 2022 Gast des Lehrstuhls für einen Forschungsaufenthalt. In dieser Zeit ist sie im Büro 3.2.01.531 erreichbar. Ihre wissenschaftlichen Arbeitsfelder liegen im Bereich Mathematisches Machine Learning, Optimierung mit partiellen Differentialgleichungen, Diskretisierung von Variationsproblemen und Modellordnungsreduktion.
Die Einladung die Zusammenfassung des Vortrags finden Sie in der PDF-Datei.
ABSTRACT:
The Feature propagation in Deep Neural Networks (DNNs) can be associated to nonlinear discrete dynamical systems.
Here, we are defining the discretization parameter (time step-size) to be an additional variable in the DNN.
Hence, the time step-size can vary from layer to layer and is learned in an optimization framework.
The proposed framework can be applied to any of the existing networks such as ResNet, DenseNet or Fractional-DNN.
This framework is shown to help overcome the vanishing and exploding gradient issues.
To illustrate the advantages, the proposed approach is applied to an ill-posed 3D-Maxwell's equation.