¿Como importar datos desde web Ecowitt?

[guisado]

Debido a la inconsistencias de datos tras instalar cumulusmx en la raspberry, estoy intentando traer todos los datos de la web de ecowit a cumulusmx y para ello he leído que hay que cambiar un archivo de la carpeta datos: today.ini y borrar el resto de archivos de esa carpeta. Pero no soy capaz de borrar esos archivos desde el gestor de archivos de Bitvise SHH Cient, me sale permiso denegado. Supongo porque cumulusmx está en ejecución. Como se cierra cumulusmx en la raspberry para que me deje borrar esos archivos?

[jantoni]

sudo systemctl stop cumulusmx

Todo en minúsculas

Si no me he confundido, claro

[guisado]

Con ello conseguí parar cumulus, pero no me dejaba borrar los archivos de directorio data en el expolorador de bitisive SSJ, tuve que borrarlos con el comando

sudo rm -rf *

.

Después creé un archivo today.ini , le edite y seguí las siguientes instrucciones de la wiki de cumulus:

   

Ensure you have run Cumulus at least once, then stop Cumulus
    Edit today.ini (in the data folder), look for the ‘Timestamp’ line, then carefully sticking to exactly the same format as is currently in the file, change the date and time to your earliest available data in your weather station logger (or just before if you don't know exact time)
    Optionally, if you have only just started using Cumulus, so you have nothing useful to lose, you could delete all of the other files in the data folder, and delete all lines in the "today.ini" other than those shown in the extract below (with dates modified appropriately).
    Now restart Cumulus
        if you did step 3, processing will start again with just the data from the station's logger.
        if you have existing files in data folder when you restart, you will probably need to edit your log files in the data folder as you may have duplicate entries and/or entries out of order. Your rain totals will almost certainly also be wrong - the total for "today" in particular. See the FAQ entry about correcting rainfall data.
    Note that if you do this, it is at your own risk, and you will need to sort out any issues which may arise yourself.


[General]
Date=10/04/2012
Timestamp=10/04/2012 10:00:00
CurrentYear=2012
CurrentMonth=4
CurrentDay=10

Mi nuevo archivo today.ini es igual al original instalado, pero borrando todas las líneas después de currentDay y cambiando la línea de Timestamp, donde puse el día y hora que mi estación empezó a enviar datos a Ecowit.
Volvi a iniciar Cumulus y empezó a importar los datos de Ecowit y ya los tengo en Cumulus, ahora falta ajustar con Meteoclimatic.

[jantoni]

Correcto.

El navegador de archivos de Bitvise solo puede manejar ficheros con los permisos de usuario.

En el caso del tutorial que cree, los ficheros están en /opt/CumulusMX y no en /home/xxxxxxxx/CumulusMX

Al estar en /opt han heredado los permisos de ese directorio, y son de "root" y no del usuario.

Por tanto, para borrar archivos hay que hacerlo desde el terminal de consola, tal como muy bien has hecho.

Se puede evitar esto cambiando el directorio de instalación. Pero como os dije, para hacer un tutorial debes elegir un sistema de instalación y no empezar a ofrecer alternativas. Si un usuario novel en Linux se puede perder, si le ofrecemos opciones diferentes, ya seguro que no encuentra el camino. Es preferible ir por una vía y, cuando se entienda, poder hacer todas las variantes que queramos.

Sería algo así:

Sustituir

Código: [Seleccionar]

cd /opt
por

Código: [Seleccionar]

cd ~

Código: [Seleccionar]

sudo wget https://github.com/cumulusmx/CumulusMX/releases/download/b3283/CumulusMXDist3283a.zip

por

Código: [Seleccionar]

wget https://github.com/cumulusmx/CumulusMX/releases/download/b3283/CumulusMXDist3283a.zip

y

Código: [Seleccionar]

sudo unzip CumulusMXDist3283a.zip
por

Código: [Seleccionar]

unzip CumulusMXDist3283a.zip
Y habría que cambiar donde aparezca /opt/CumulusMX por /home/xxxxxxxxxx/CumulusMX, recordad que las xxxxxxxxx hay que sustituirlas por el nombre de usuario.

Opté por instalar en /opt siguiendo un poco lo establecido por defecto en la instalación que vi para Raspberry Pi en el foro de CumulusMX, pero cada uno puede cambiarlo como quiera, si sabe lo que hace.

[guisado]

El tutorial ha estado perfecto.

[backties]

Buenas !, empezaré mañana a darle una vuelta a esto ya que, aunque conseguí configurar todo y casi a la primera subir datos a Meteoclimatic desde Cumulusmx instalado en la Raspberry, también tengo bastantes inconsistencias, además de cosas raras como marcarme máximas y mínimas de temperatura que aparecen al día siguiente y no sé de dónde las saca.....

Ya os cuento.

[guisado]

Yo creo que ya tengo todas las inconsistencias corregidas. Lo ultimo que he hecho ha sido poner las raspberry en horario UTC al igual que tenia mi estación. Con el comando:

sudo raspi-config

y siguiendo lo que dice en :
https://raspberrytips.es/fijar-fecha-hora-raspberry-pi/

[Gapito]

Buenas.

Entiendo que este hilo es porque una vez configurado cumulusmx, si nos vamos a los charts, records, etc... sólo aparecen los datos desde que hemos activado cumulus en la raspbi, ¿verdad? O sea, a mí sólo me aparecen los datos desde hoy domingo que lo he configurado todo, y la lluvia, por ejemplo, me sale el total del año como si fuera el diario, mensual, etc...

¿Haciendo esto de este hilo se soluciona y me sale todo el histórico de la estación?

PD: en meteoclimatic los datos siguen guardados tal y como los tenía desde atmos.cat, imagino que eso no se verá afectado, ¿o sí?

¡Gracias!

[B.Santiago]

En efecto, Cumulus sólo guarda los datos desde que empieza a recibirlos.
Hasta donde yo sé, no puede recuperar datos anteriores a su instalación en el dispositivo que sea.

[jantoni]

Si, si se puede recuperar los datos que hay en Ecowitt.net

Con cierto limites, por supuesto

Estos son los límites (extraído de la traducción desde el chino)

- El conjunto de datos recopilados por equipos meteorológicos en los últimos 90 días se puede obtener cada 5 minutos. El rango de tiempo de cada solicitud no puede exceder 1 día

- Se puede obtener el conjunto de datos recopilados por equipos meteorológicos cada 30 minutos durante el año pasado. El rango de tiempo de cada solicitud no puede exceder 1 semana;

- Se pueden obtener conjuntos de datos recopilados por equipos meteorológicos cada 4 horas en los últimos 2 años. El rango de tiempo de cada solicitud no puede exceder un mes;

- Se pueden obtener conjuntos de datos recopilados por equipos meteorológicos en un día desde el 01.01.2019. El rango de tiempo de cada solicitud no puede exceder un año;

-Se puede obtener el conjunto de datos recopilados por el equipo de la cámara en los últimos 7 días. El rango de tiempo de cada solicitud no puede exceder 1 día (el tiempo de consulta debe ser el mismo día).

[jantoni]

Eso sí.....recordad que la importación de datos es lenta, ya que no se hace en local, sino por peticiones cliente-servidor.

Así que hay que aplicar paciencia

[guisado]

Yo lo he hecho, tenía poco que perder, a los sumo volver a instalar Cumulus.
Se entiende que es para los que tienen sus registros también en Ecowitt.net y en la instalación pusieron tanto la Api Key como la Application Key que generaron en Ecowitt.net

Lo que yo hice fue (leer todos los pasos previamente):

1) Abrir Bitsive SHH Client, New Terminan console y detener Cumulus con el comando

sudo systemctl stop cumulusmx

2) Abrir explorador de archivo en Bitsive y copiar el archivo today.ini en mi escritorio , el archivo se encuentra en la carpeta de data de cumulus

3) Borrar todos los archivos que hay en la carpeta de data con el comando

sudo rm -rf *

en la consola de Bitsive y dentro del directorio data

4)Cree  un nuevo archivo today.ini  con el comando sudo

touch  today.ini

5)En el terminal , edité el nuevo archivo creado today.ini con el comando

sudo nano today.ini

, que sale vacío y pegue las seis primeras lineas del el archivo original que copie en mi escritorio en el paso 1, ahí cambie la fecha de la linea de Timestamp con la fecha en que empiezan mis registros en Ecowitt,  eso se ve en ecowitt.net. Sales, da a guardar, comprueba que está correcto, que solo existen esas lineas y ningún archivo más en la carpeta data.

6) Inicias Cumulus con

sudo systemctl restart cumulusmx

, cierras el terminal, abres el navegador y abres cumulus y empezará a importar todos los registros de ecowitt, verás que los valores van cambiando constantemente hasta que se estabilizan, tardará dependiendo desde cuando tienes registros en ecowitt.

7)Tuve un error con la lluvia anual, que luego la corregí, porque creo que antes incluso del paso 1 , tienes que abrir cumulus en el navegador y en station settings abajo hay una opción de poner lluvia y ahí creo que debe ponerse cero para que al importar todos los registros, cumulus después del paso 6 sume la lluvia acumulada de los registros importados.Pero de eso no estoy seguro.

Para evitar más inconsistencias, es bueno tener la raspberry con la misma hora de la estación que debe estar en UTC, lo hice con el comando

sudo raspi-config

y y seguir los que dicen en https://raspberrytips.es/fijar-fecha-hora-raspberry-pi/

9) Los datos de Meteoclimatic no se ven afectados, pero las inconsistencias que puedan haber ya las debes corregir, yo las corregí en Meteclimatic.

[Gapito]

Perfecto. Gracias por explicarlo todo tan bien. Me pondré manos a la obra para tenerlo todo fino filipino.

Sólo una cosa, guisado:

4)Cree  un nuevo archivo today.ini  con el comando sudo

touch  today.ini

En este paso 4 dices que creas el archivo con el comando sudo pero luego pones touch. ¿Puedes confirmar esto, por favor?

[jantoni]

Si CumulusMX está en /opt será

Código: [Seleccionar]

sudo touch today.ini
Si está en el directorio personal entonces no hace falta sudo

[guisado]

Eso es si.
En cuanto a las inconsistencias, la manera de corregirlas como yo lo hice fue en una pantalla abres cumulus y pinchas en records, ahí apareces los registros máximos y mínimos de todos los meses, y en otra pantalla abres los datos de tu estación en meteoclimatic. En las inconsistencias te habrá advertido cuales son, que suelen ser máximos y mínimos de temperatura, presion, lluvia etc y acumulados de lluvias.
Entonces con paciencia tienes que cuadrar la inconsistencia que te indican (tipo y mes) , ver lo que cumulus te marca y corregirla en meteoclimatic. . Y siempre corrigiendo por dias, luego meses y luego si hace falta en anual. Al menos así lo hice yo.