Bueno, yo no tengo raspberry sino la orange pi y tiene una utilidad de configuración sino igual a raspi-fonfig parecida llamada armbian-config y sí, como mucho se puede establecer la zona horaria pero no la hora.
Según veo por Google para cambiarla directamente desde el terminal habría que hacerlo con el comando date, por ejemplo
sudo date --set "2022-04-01 08:00"
Cambiaría la fecha a las ocho en punto de hoy 1 de abril.