JupyterLab vs Jupyter Notebook para Ciencia de Datos y Aprendizaje Automático

[vesko2103]

Hola a todos, quiero empezar un nuevo proyecto de aprendizaje e investigación sobre la inteligencia artificial. Como todo inicio en un proyecto tengo muchas dudas y decisiones que tengo que tomar. Ya he echo algunos experimentos con Jupyter Notebook, pero ponerme con el tema mas en serio.

Las primeras dudas por ahora:

Debian o Ubuntu (yo me decanto mas por Debian) pero necesito mas opiniones y consejos.

JupyterLab o Jupyter Notebook (por ahora he experimentado con Jupyter Notebook en Debian 11 y 12) pero como he dicho tengo dudas cual es mejor: con vista al futuro y dado que se pueden descargar modelos ya entrenados, con cual seria mas fácil o mas compatible para conectarlo a una Framework Web como Jango por ejemplo y que se muestra como ChatGPT o algo así.

También el tema de contenedores Docker: SI o NO, por el tema de recursos e integración de proyectos

Lo mismo todo esto que comento es una chorrada descomunal pero quiero dar un paso mas en serio y necesito vuestros consejos.

Gracias de antemano y saludos a todos

[vesko2103]

Hola de nuevo. He echo una cosita muy simple para: Predicciones de los alquileres a 5 Años con la IA

Todo esto en Debian (mi favorito)


Y con el Jupiter Notebook


Aquí os dejo el código si alguien lo quiere comprobar, añadir o mejorar cualquier cosita:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# Cargar los datos desde un archivo CSV
data = pd.read_csv('datos_alquiler.csv')

# Convertir la columna 'fecha' a un formato numérico (días desde una fecha de referencia)
data['fecha'] = (pd.to_datetime(data['fecha']) - pd.to_datetime(data['fecha']).min()).dt.days

# Dividir los datos en características (X) y variable objetivo (y)
X = data[['fecha', 'habitaciones', 'metros_cuadrados']]
y = data['precio']

# Crear y entrenar un modelo de regresión lineal
model = LinearRegression()
model.fit(X, y)

# Obtener la fecha actual como la máxima fecha en el conjunto de datos
fecha_actual = data['fecha'].max()

# Calcular la fecha 5 años (1825 días) en el futuro desde la fecha actual
fecha_futura = fecha_actual + 1825

# Crear una lista de fechas futuras
fechas_futuras = list(range(fecha_actual + 1, fecha_futura + 1))

# Crear un DataFrame con las características de las fechas futuras, habitaciones y metros cuadrados
caracteristicas_futuras = pd.DataFrame({'fecha': fechas_futuras, 'habitaciones': 3, 'metros_cuadrados': 120})

# Predecir los precios de alquiler para las fechas futuras
predicciones_futuras = model.predict(caracteristicas_futuras)

# Graficar los precios de alquiler históricos y las predicciones futuras
plt.figure(figsize=(12, 6))
plt.plot(data['fecha'], data['precio'], label='Datos Históricos', color='blue')
plt.plot(fechas_futuras, predicciones_futuras, label='Predicciones a 5 Años', color='red')
plt.xlabel('Fecha')
plt.ylabel('Precio de Alquiler')
plt.legend()
plt.title('Predicciones de Precios de Alquiler a 5 Años')
plt.show()

El resultado es este:


Tengo mas información en mi web:https://veselin.es/predicciones-de-l...nos-con-la-ia/ Si lo creéis SPAM, borradlo por favor.

[vesko2103]

Muy buenas a todos. Quiero comentar mis avances hasta ahora, que son en gran medida compra de un servidor con mas memoria y mas CPU. En cuestión es este:



Es un: Dell Precision T5810 Xeon E5-1650v4 6x3,60GHz 32GB DDR 512GB SSD NVS 315 RW. Mi primera batalla con el era sobre el sistema operativo "No acepta Debian" (mi gozo en un pozo). Llegando a este punto sin mas le instale Ubuntu 22.04:



Hasta aquí todo bien. He instalado y configurado el Jupiter Notebook, pero la grafica no acompaña es una envidia NVS 315 con 48 cuda cores que apatre de dodo esto no están preparados para el deep learning. O al menos no conseguí que ayuda al entrenamiento. He decidido poner punto y final y comprar una rtx 4060.

Tengo tres opciones desde la mas barata RTX 4060 con 8Gb, La media RTX 4060 TI de 8 Gb y la mejor y mas cara desde mi punto de vista la RTX 4060 TI de 16Gb. Hay que decir que el servidor puede con una grafica de 200 W, y el consumo de la RTX 4060 TI de 16 GB es de solo 165 W.

También como punto a favor la capacidad de memoria RAM de 16 Gb. Llegado hasta Aquí necesito vuestro opinión. Que pensáis del equipo en su conjunto, y claro la elección de la tarjeta grafica.

Gracias por vuestra ayuda.
Saludos

[oscarin]

Sobre la WS pues que voy a decir, yo tengo la misma con 80Gb y un E5-2630 v3 Y muy contento. En su momento le di mas importancia a hilos que a velocidad, pero ahora empiezo a echar de menos velocidad. Si encuentro un Broadwell a buen precio con 6 nucleos, tal vez un E5-1650V4 (aunque 140W me echan para atras, no por la refrigeracion que es suficiente, sino por el ruido y el consumo).

Lo de no haber podido instalar Debian no lo entiendo, yo no lo he hecho nunca en esta WS, pues soy usuario de Ubuntu muy viejo, pero ha trabajado con Debian y no lo veo, es mas ultimamente hasta me planteo pasarme a Debian. Me gustaria saber cual ha sido el problema.

La grafica, pues ni idea. No olvides que tienes un PCIe 3, no vas a poder exprimir esas graficas, pero seguramente tampoco tendras mayor impacto

[JMRD]

Muy buenas a todos. Quiero comentar mis avances hasta ahora, que son en gran medida compra de un servidor con mas memoria y mas CPU. En cuestión es este:



Es un: Dell Precision T5810 Xeon E5-1650v4 6x3,60GHz 32GB DDR 512GB SSD NVS 315 RW. Mi primera batalla con el era sobre el sistema operativo "No acepta Debian" (mi gozo en un pozo). Llegando a este punto sin mas le instale Ubuntu 22.04:



Hasta aquí todo bien. He instalado y configurado el Jupiter Notebook, pero la grafica no acompaña es una envidia NVS 315 con 48 cuda cores que apatre de dodo esto no están preparados para el deep learning. O al menos no conseguí que ayuda al entrenamiento. He decidido poner punto y final y comprar una rtx 4060.

Tengo tres opciones desde la mas barata RTX 4060 con 8Gb, La media RTX 4060 TI de 8 Gb y la mejor y mas cara desde mi punto de vista la RTX 4060 TI de 16Gb. Hay que decir que el servidor puede con una grafica de 200 W, y el consumo de la RTX 4060 TI de 16 GB es de solo 165 W.

También como punto a favor la capacidad de memoria RAM de 16 Gb. Llegado hasta Aquí necesito vuestro opinión. Que pensáis del equipo en su conjunto, y claro la elección de la tarjeta grafica.

Gracias por vuestra ayuda.
Saludos

Sigo con atención el hilo y esta muy bien el programa de predicción de alquileres.
En cuanto al tema de no poder instalar DEBIAN lo mismo es por la marca de ordenador y BIOS ( algo relacionado con desactivar secure boot ) o alguna opción parecida.
Muchas marcas - sobre todo en portatiles- la firman limitando incluso que puedas instalar cualquier LINUX ,por el famoso monopolio de Microsoft con tratos de favores en precios/cantidades de licencias, con lo que toca desactivar ciertas opciones.
También podría ser por algún firmware relacionado con la gráfica.

En cuanto a elegir Ubuntu o Debian, hace unos años quiza hubiese tenido dudas, pero hoy Debian es totalmente amigable.
En mi caso hoy no tengo dudas y me quedo con la distribución madre.
No es que Ubuntu sea mala opción, solo que te obliga a determinadas cosas que a mi en lo personal ahora mismo no me gustan.

[Fantasma]

Voy a aportar mi grano de arena, aunque en algunos apartados puede sonar mal:

- El modelo de alquileres no tiene nada de IA ni de Machine Learning, es una regresión linear de toda la vida (básicamente aproxima los puntos que quieras a una recta y extrapola a partir de ahí, se puede hacer en un excel en 2 minutos). Los modelos por IA y Machine Learning (de esto sí he usado, dentro de poco seguramente me tocará pringarme con IA y modelos de redes neuronales) son bastante más complejos. Encima el modelo mostrado en este hilo usa de base 10 datos o algo así, algo completamente insuficiente para predecir nada.

- Una gráfica te sirve para algo si el "framework" o módulo en concreto lo soporta. Scikit-learn, hasta donde yo sé no tiene aceleración por gpu. De todas formas, para necesitar una gpu realmente (por ejemplo con tensorflow), el modelo ha de ser bastante complejo. Primero prueba de forma normal tirando de la cpu. Y si luego ves que tarda mucho y el framework o módulo que llames en python soporta la aceleración de gpu, pues ya te puedes plantear lo de la gpu. No sé cuán complejo es lo que quieres hacer, si es como lo de los alquileres, no necesitas gpu para nada.

- En cuanto al sistema, primero crea el programa (aunque sea una versión más sencilla si lo que quieres hacer es complejo), ves de lo que tira, y luego decides. Depende de la programación, a veces tira más de cantidad de memoria o menos. Y si el código es relativamente sencillo, igual no te hace falta cambiar nada. De poco te sirve, por poner un ejemplo, meter tropecientos núcleos, si luego el programa sólo tira de uno. Muchas veces hay que aprender primero a paralelizar. En muchos programas de Python se tiende al monohilo por defecto y te tienes que sacar las castañas del fuego para paralelizar las partes críticas del código.

- JupyterLab o Jupyter Notebook: hasta donde yo sé, el JupyterLab es la versión moderna del Jupyter Notebook. Según dicen, el JupyterLab para diferentes Jupyter Notebooks simultáneos y demás, el workflow es mejor, pero si no te quieres complicar mucho, el Jupyter Notebook es la opción "vieja" pero "confiable".

Del resto, ni idea. Llevo sin usar Linux mucho tiempo, por lo que en tema distros no sé cómo van en la actualidad.

Saludos

[vesko2103]

Hola a todos. gracias por responder. Lo de los alquileres era solo un simple ejemplo. En un principio quiero meterme de lleno en la IA y machine learning. Hay base de dados de diferentes universidades que son libre para utilizar y entrenar una inteligencia artificial.

También quiero hacer un curso sobre: PROGRAMACIÓN EN INTELIGENCIA ARTIFICIAL Y BIG DATA APLICABLES A ENTORNOS 5G. El curso empieza en enero pero quiero ir adelantando y comprendiendo los pasos para el entrenamiento

Sobre los sistemas operativos esto es de la web oficial de DELL:
Your Precision Tower 5810 supports these operating systems:
Cambiar producto
BIOS
Red Hat® Linux 7.0
Red Hat® Workstation 7.3
Redhat 7.3
Ubuntu® 12.04
Ubuntu® 14.04
Windows 10, 32-bit
Windows 10, 64-bit
Windows 7, 32-bit
Windows 7, 64-bit
Windows 8.1, 64-bit
https://www.dell.com/support/home/es...10-workstation

Gracias por vuestro tiempo y consejos. Os seguiré informando

Saludos

[JMRD]

Te puedo hablar de un HP VICTUS que fue mi ultima compra en portatil y por eso dije lo que dije.
En este ,sin desactivar ciertos parámetros de la BIOS relacionados con el arranque seguro, admite Windows, Ubuntu y alguno mas.
Sin embargo DEBIAN lo instala sin permitir que la dedicada NVIDIA funcione correctamente.
Cosa de fabricantes.
El tema es que a mi en lo personal me da igual el arranque seguro , simplemente lo desactive e instale mi sistema operativo favorito y el cual se me hace imprescindible para todo "DEBIAN TESTING"
DELL habrá firmado su firmware para esos sistemas operativos que comentas, lo que no se es si deja opciones en BIOS para lo que dije antes.

De todas formas UBUNTU no es mal sistema operativo,pero hoy por distribuciones que no sea y en muchas ocasiones respaldados por empresas o comunidades bastantes fuertes.

[telekito]

Yo hice un Master en IA, así que contaré un poco mi experiencia en el campo. Para todo lo que fueron las asignaturas me fue suficiente con Windows + Anaconda Navigator + Google Colab.

Para el proyecto fin de carrera si que me fue necesario instalar Ubuntu y luego use el IDE PyCharm pues los IDEs de Jetbrains son de los mejores para cada lenguaje y aunque no lo había usado antes, me adapte rápido.

Dependiendo de en los campos que te metas de IA veras que la GPU es importante (la VRAM de la GPU sobretodo) por ejemplo en mi proyecto la GPU de 6GB me limitó en algunas decisiones de diseño (se puede solucionar alquilando algún servicio en la nube, pero vamos para algo que no me pagan tampoco me apetecía gastar pasta) pero vamos se puede aprender mucho y hacer mucho, antes de que se necesite una GPU potente o con mucha VRAM.

A mi Ubuntu me parece un sistema operativo ideal para hacer temas de IA (me costo un poco hacer funcionar la GPU NVidia, pero fue la única incidencia) si miras veras que muchas proyectos de investigación en IA se desarrollan en Ubuntu, por lo que si el servidor es compatible con Ubuntu pues adelante, no hace falta obcecarse con Debian.

[Fantasma]

Yo hice un Master en IA, así que contaré un poco mi experiencia en el campo. Para todo lo que fueron las asignaturas me fue suficiente con Windows + Anaconda Navigator + Google Colab.

Para el proyecto fin de carrera si que me fue necesario instalar Ubuntu y luego use el IDE PyCharm pues los IDEs de Jetbrains son de los mejores para cada lenguaje y aunque no lo había usado antes, me adapte rápido.

Dependiendo de en los campos que te metas de IA veras que la GPU es importante (la VRAM de la GPU sobretodo) por ejemplo en mi proyecto la GPU de 6GB me limitó en algunas decisiones de diseño (se puede solucionar alquilando algún servicio en la nube, pero vamos para algo que no me pagan tampoco me apetecía gastar pasta) pero vamos se puede aprender mucho y hacer mucho, antes de que se necesite una GPU potente o con mucha VRAM.

A mi Ubuntu me parece un sistema operativo ideal para hacer temas de IA (me costo un poco hacer funcionar la GPU NVidia, pero fue la única incidencia) si miras veras que muchas proyectos de investigación en IA se desarrollan en Ubuntu, por lo que si el servidor es compatible con Ubuntu pues adelante, no hace falta obcecarse con Debian.

Son buenos consejos y si tira de GPU, efectivamente la VRAM es importante. Hace relativamente poco ayudé en montar un pc a coste relativamente bajo y elegimos una RTX 3060 12GB sobre gráficas como la RTX 4060 8GB por eso mismo. De cpu, creo que al final terminamos poniendo un 7700X o 7900X, no recuerdo bien. La opción inicial era un 5900X, pero el 7700X tiene más rendimiento por núcleo (por si hubiese falta de optimización) y no se iba mucho en multinúcleo.

Saludos