Ayer se me ocurrió que cuando dejas la cama y tu cuerpo la ha calentado levemente, y vuelves y sigue calentito, es porque las moléculas habían empezado a vibrar (asumiendo que sea un sólido) y aún no se había descargado toda la energía cinética que tenían, y con lo cual cuando llegas siguen vibrando pero un poco menos. Es por eso que se ha "perdido algo del calor que tú habías dejado" pero tampoco está fría.
En resumen, que "el calorcito" en realidad son las moléculas de la mantita vibrando.
