Pandas 2 milyon satırlık CSV dosyamı okurken bellek hatası veriyor, ne yapabilirim?

Var, hem de birkaç katmanlı. İlk ve en etkili adım usecols parametresi: 34 sütunun tamamına ihtiyacınız yoksa read_csv çağrısında yalnızca gruplama ve özet için gereken sütunları isteyin; bellek kullanımı doğrudan sütun sayısıyla orantılı düşer. İkinci adım dtype optimizasyonu: pandas varsayılan olarak metin sütunlarını object, sayıları int64/float64 tutar. Tekrarlayan kategorik metinleri dtype olarak category, küçük tam sayıları int32 veya int16 belirterek okursanız bellek çoğu zaman dörtte bire iner. Üçüncü seçenek chunksize ile parçalı okuma: read_csv'ye chunksize=200000 verip her parçada ara toplamları biriktirir, sonda birleştirirsiniz; groupby-agg işlemleri bu desene çok uygundur. Pandas 2.2 kullandığınız için engine='pyarrow' ve dtype_backend='pyarrow' da deneyin; Arrow tabanlı string tipi klasik object'ten çok daha ekonomiktir. Bunların ötesine geçmek isterseniz Polars kütüphanesinin lazy API'si veya DuckDB, 1,8 GB'lık CSV'yi 8 GB RAM'de sorgu mantığıyla rahatça işler; DuckDB'de tek satır SQL ile gruplama yapıp sonucu küçük bir pandas DataFrame olarak alabilirsiniz. Dosyayı bir kez Parquet formatına çevirmek de sonraki okumaları hem hızlandırır hem küçültür.