Mon. Feb 26th, 2024

Leer y procesar archivos grandes en Python

By admin Feb 4, 2024


Para leer un archivo de texto grande en Python sin cargarlo en la memoria, se utiliza una técnica que lee el archivo línea por línea. Esto se logra abriendo el archivo en un administrador de contexto (with declaración) e iterando sobre él con un bucle for.

Cada iteración lee una sola línea en la memoria, la procesa y luego la descarta antes de pasar a la siguiente línea. Este método es muy eficaz para archivos grandes ya que reduce significativamente el consumo de memoria.

Para leer archivos de texto grandes, JSON o CSV en Python de manera eficiente, puede utilizar varias estrategias, como leer en fragmentos, usar bibliotecas diseñadas para archivos grandes o aprovechar las funcionalidades integradas de Python.

Aquí hay fragmentos de código para cada uno:

1- Lectura de archivos de texto grandes usando Python

with open('large_file.txt', 'r') as file:
    for line in file:
        process(line)  # Replace 'process' with your actual processing logic

2- usar Pandas para leer archivos CSV grandes

import pandas as pd

chunk_size = 50000  # Adjust based on your memory constraints
for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):
    process(chunk)  # Your processing logic here

3- Uso de la biblioteca ijson para leer archivos JSON grandes

with open('large_file.txt', 'r') as file:
    for line in file:
        process(line)  # Replace 'process' with your actual processing logic



Source link

By admin

Related Post

Leave a Reply

Your email address will not be published. Required fields are marked *