Formas ágiles de localizar datos de viento en CumulusMX

[Lraso]

Buenas noches,

Planteo la siguiente situación por si se puede realizar la consulta en los datos de CumulusMX de forma mas rápida. He recibido un mail de una persona a través del formulario de la web de Meteoclimatic de mi estación de Paterna-Casas Verdes solicitándome los datos de rachas máximas de viento de la noche del 12 al 13 de julio. Para revisar dichos datos solo se me ha ocurrido dentro de la aplicación de CumulusMX ir al menú de data log y revisar los datos de lo que había ocurrido esa noche. El problema es que para llegar hasta los datos del día 12-13 me ha tocado ir pasando todas las páginas hasta ese día, lo que me ha llevado un buen rato, ya que se graban los datos cada 5 minutos. Me preguntaba si existe alguna forma mas ágil de consultar dichos datos o si se puede pedir algún gráfico seleccionando un rango de fechas concreto. Los gráficos de velocidad del viento que se muestran son los de las últimas 24h.

Gracias de antemano

[jmviper]

Hola Lraso

Sí, la verdad es que a MX le falta un calendario o "datepicker" en los gráficos para elegir el gráfico del día que quiera consultarse mejor que estar navegando por los logs.

En la interfaz web del programa es engorroso ver esos logs por el tema de ir en tablas de pocos registros. Para consultas así yo cerraría el programa y vería el logfile correspondiente de la carpeta data con un editor de texto (también se puede abrir con un navegador).

De todas formas he abierto un hilo sobre lo del datepicker en las sugerencias del foro de MX.

A ver cómo se desarrolla la cosa, supongo que mucha gente estaría interesada en ello.

Saludos

[Lraso]

De todas formas he abierto un hilo sobre lo del datepicker en las sugerencias del foro de MX.

A ver cómo se desarrolla la cosa, supongo que mucha gente estaría interesada en ello.

Pues me parece una muy buena sugerencia. A ver si Mark Crossley se la toma en serio y nos sorprende en alguna de las próximas actualizaciones con ese datepicker. Lo de cerrar el programa y andar trasteando en los archivos de Cumulus en Windows siempre es más engorroso, aunque por lo visto ahora es lo más rápido para la cuestión planteada.

Cómo siempre gracias por la ayuda, jmviper! 

[jmviper]

Ummm… no quiero ser pesimista pero no creo que el tal Crossley esté por la labor ya que habría que modificar mucho código porque la página de gráficos toma como fuente unos json predefinidos de las últimas 24 horas y no los toma de los logfiles que es a donde están los datos que habría que tomar.

Como me gustan los retos voy a ver si hago una página de gráficos con ese datepicker que saque con jQuery + javascrit los gráficos del día que deseemos.

Seguramente me ponga a ello esta semana que viene y veré como es de factible aunque creo que se puede.

Si lo logro ya la pondré y la iremos probando por aquí.

Saludos

[Lraso]

Ok, pues ya nos dices...

[errea]

Qué envidia me da poder hacer una cosa de esas!

Envidia sana por supuesto, hace tiempo que me perdí en el estudio de los nuevos lenguajes de programación, pero es cierto que vendría bien una utilidad como esa.

Mi apoyo moral.

[jmviper]

Gracias por el apoyo moral errea pero la primera ha venido en la frente y es que MX funciona en un servidor web (su interfaz) y no se puede acceder a los logfiles que están en local en el PC debido a la política del cross-origin, básicamente los navegadores no dejan acceder a recursos que no estén en el mismo servidor web.

Las soluciones serían mapear en MX (lo tendría que hacer McCrossley en el código de MX) la carpeta datafile para ser accedidos los logs vía http en ese servidor web de MX y la otra ya sería más "casera" de poner nuestro propio servidor web casero y mapearlo desde él y poder acceder a ellos vía jsonp o PHP, para ello habría que saber un poco de configuración de un servidor web.

La cosa no es fácil, ya veré si hay alguna solución por ahí ya que no tengo mucha fe en que se cambie el código de MX para cuestiones o comodidades personales.

[errea]

Entiendo el problema, lo más viable sería la segunda de las opciones que comentas. De hecho si se corre el CumulusMX en Linux es muy problable que se tenga un Apache activo (mi caso, por ejemplo) Claro que las rutas serían particulares de cada PC. Y ya en el caso de Windows, requiere de tirar de algo tipo XAMPP.

Mucho, para mi.

[jmviper]

Veamos... tras llevar el tema en el foro de MX y obtener pistas de cómo consultar los logfiles a través de la API de MX nos estamos encontrando que según qué sistemas va en unos más rápido que en otros, en el mío por desgracia lentííííííísimo y no sé si es porque tengo los logfiles con un minuto de intervalo.

La prueba sería acceder a una URL de la API de MX. Si queréis hacer pruebas para ver cuánto os tarda tenéis que poner en vuestro navegador:

http://127.0.0.1:8998/api/data/logfile?month=06-2020&start=0&length=1000

Con eso se mostrará un json con las 1000 primeras líneas del log de junio.

Como digo a mí esa petición me tarda casi 20 segundos y son solo 1000 líneas (cada día del log tiene 1440 líneas) por lo que no llego ni a cargar del todo un día.

Los demás en ese foro con raspberrys están teniendo cargas instantáneas y en Windows hay resultados dispares, supongo que como según sea el PC.

Otra idea sería copiar los logfiles a las carpetas que toma la API de MX para su funcionamiento y entonces sí que podrían ser tratadas dentro del servidor de MX y podríamos consultarlas.

Para consultar cuánto tiempo os tarda en cargar esos datos de la URL anterior en Chrome por ejemplo entráis en las herramientas de desarrollador (F12) y vais a la pestaña Network y ejecutáis la URL. En esa sección os saldrá qué tiempo ha tardado la consulta:

[Lraso]

Buenos días,
He estado haciendo pruebas con la API de MX para consultar los logfiles y os comento los resultados:
Si le pido que muestre las primeras 1000 lineas del log, el tiempo es bastante rápido, carga instantánea (250 milisegundos).
En mi caso tengo configurados los logfiles con 5 minutos de intervalo. En ese caso pidiendo que me muestre 9000 lineas me sale todo el mes, ya que un mes de 31 días serían unos 8900 logs. En este caso la carga es mas lenta, alrededor de 20 segundos, pero en 20 segundos dispongo de todo el mes cargado, que siempre es mucho mas rápido que ir moviéndote por las páginas del data log dentro de la interfaz de MX.
Comentaros también que el equipo al que está conectada la consola es un portatil mini Toshiba nb 505 del año 2011, con Windows 7 Starter, con un procesador Intel Atom 1,66 Ghz y un tanto tuneado de memoria (originalmente tenía un 1GB y le amplie a 2GB) y le cambie el disco duro a un SSD de 120 GB (originalmente llevaba un HDD de 250 GB). Comentaros también que todas las pruebas las he realizado trabajando en remoto, por lo que no se si probando directamente sobre el equipo iría algo mas rápido.

En definitiva, creo que esta aportación es positiva, puesto que en apenas 20 segundos tengo disponible en la API toda la información  de los logs del mes y no me hace falta ir a las carpetas del programa en Windows.

Saludos

PD: como prueba de lo comentado os dejo capturas de la herramienta Network

[jmviper]

Vaya... me perdí la actualización buena para la mejora de generación de los json de MX.... estaba usando la build 3086 y el salto cualitativo lo ha dado con la 3088.... la he instalado esta mañana y voilà… ha volado MX generando el json, el problema ha sido de Chrome al tener que poner los datos en pantalla...unas 28000 líneas en casi minuto y medio.

mcrossley dice que en la próxima build habrán mejoras y ajustes, le he pedido si puede poner en el query de la url pedir el json específico de un día en vez de tener que cargar todo el mes. De todas formas ya iré haciendo pruebas del procesamiento de datos esta tarde pidiendo todo el log del mes y seleccionando sólo el día que nos interesa dibujar en el gráfico.

Si van bien las pruebas la parte más difícil que es el query y parsing de datos ya estaría hecho.

Lraso supongo que estás usando la última build con esos números que te han salido, de todas maneras a ver cómo van mis pruebas y lo que deparen las mejoras de la próxima build de MX al respecto.

[Lraso]

Lraso supongo que estás usando la última build con esos números que te han salido, de todas maneras a ver cómo van mis pruebas y lo que deparen las mejoras de la próxima build de MX al respecto.

Correcto jmviper, mis datos son con la build 3088 (no me atrevo a poner que es la última porque igual a estas horas ya ha cambiado)

[jmviper]

Hecho, ya tengo el datepicker para los gráficos y hago un post nuevo al que le pondré chincheta para quien quiera la utilidad en este subforo de MX:

https://forum.meteoclimatic.net/index.php/topic,2955.0.html