Hola.

He visto que el uso de expresiones generadoras sobre listas es una forma eficiente de programar en cuanto a gestión de memoria y querría preguntaros si sabéis cómo se puede hacer con los pandas...

El problema que tengo, es que manejo cantidades bastante grandes de información (cada fichero suele ser 20-30GB) y python me manda un mensaje de que me he quedado sin memoria cada 2 por 3 (tengo 16GB de RAM). Soy consciente de que una forma de solucionar el problema es hacer el proceso completo en varias iteraciones pero es algo que me gustaría evitar en la medida de lo posible... Tampoco es que haga operaciones muy complejas: filtrado (.loc), cruces (.merge), concatenación (.concat), etc

Lo que he visto, es que con el manejo de listas está la opción de "expresiones generadoras", que lo que hace es que crea un objeto de tipo "generator" y sólo se resuelve al final por lo que ¿existe alguna forma de hacer con pandas?

Muchas gracias por vuestras sugerencias