pandas MemoryError:

污妖王

我使用pandas.read_csv读取一个大的csv文件（aprox.6 GB），我收到以下内存错误：

1. MemoryError                               Traceback (most recent call last)
   
2. <ipython-input-58-67a72687871b> in <module>()
   
3. ----> 1 data=pd.read_csv('aphro.csv',sep=';')
   
4. 
   
5. C:\Python27\lib\site-packages\pandas\io\parsers.pyc in parser_f(filepath_or_buffer, sep, dialect, compression, doublequote, escapechar, quotechar, quoting, skipinitialspace, lineterminator, header, index_col, names, prefix, skiprows, skipfooter, skip_footer, na_values, na_fvalues, true_values, false_values, delimiter, converters, dtype, usecols, engine, delim_whitespace, as_recarray, na_filter, compact_ints, use_unsigned, low_memory, buffer_lines, warn_bad_lines, error_bad_lines, keep_default_na, thousands, comment, decimal, parse_dates, keep_date_col, dayfirst, date_parser, memory_map, nrows, iterator, chunksize, verbose, encoding, squeeze, mangle_dupe_cols, tupleize_cols, infer_datetime_format)
   
6.     450                     infer_datetime_format=infer_datetime_format)
   
7.     451
   
8. --> 452         return _read(filepath_or_buffer, kwds)
   
9.     453
   
10.     454     parser_f.__name__ = name
    
11. 
    
12. C:\Python27\lib\site-packages\pandas\io\parsers.pyc in _read(filepath_or_buffer, kwds)
    
13.     242         return parser
    
14.     243
    
15. --> 244     return parser.read()
    
16.     245
    
17.     246 _parser_defaults = {
    
18. 
    
19. C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows)
    
20.     693                 raise ValueError('skip_footer not supported for iteration')
    
21.     694
    
22. --> 695         ret = self._engine.read(nrows)
    
23.     696
    
24.     697         if self.options.get('as_recarray'):
    
25. 
    
26. C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows)
    
27.    1137
    
28.    1138         try:
    
29. -> 1139             data = self._reader.read(nrows)
    
30.    1140         except StopIteration:
    
31.    1141             if nrows is None:
    
32. 
    
33. C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader.read (pandas\parser.c:7145)()
    
34. 
    
35. C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._read_low_memory (pandas\parser.c:7369)()
    
36. 
    
37. C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._read_rows (pandas\parser.c:8194)()
    
38. 
    
39. C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_column_data (pandas\parser.c:9402)()
    
40. 
    
41. C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_tokens (pandas\parser.c:10057)()
    
42. 
    
43. C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_with_dtype (pandas\parser.c:10361)()
    
44. 
    
45. C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser._try_int64 (pandas\parser.c:17806)()
    
46. 
    
47. MemoryError:

复制代码

强人锁男

该错误表明机器没有足够的内存来将整个CSV一次读入DataFrame。假设您一次不需要内存中的整个数据集，避免问题的一种方法是以块的形式处理CSV（通过指定chunksize参数）：

1. chunksize = 10 ** 6
   
2. for chunk in pd.read_csv(filename, chunksize=chunksize):
   
3.     process(chunk)

复制代码

令狐少侠

1. chunks=pd.read_table('aphro.csv',chunksize=1000000,sep=';',\
   
2.        names=['lat','long','rf','date','slno'],index_col='slno',\
   
3.        header=None,parse_dates=['date'])
   
4. 
   
5. df=pd.DataFrame()
   
6. %time df=pd.concat(chunk.groupby(['lat','long',chunk['date'].map(lambda x: x.year)])['rf'].agg(['sum']) for chunk in chunks)

复制代码

蛋蛋超人

分块不应该总是这个问题的第一个解决方案。
1.由于重复的非数字数据或不需要的列，文件是否很大？
如果是这样，您有时可以通过读取列作为类别并通过pd.read_csv  usecols参数选择所需列来节省大量内存。
2.您的工作流程是否需要切片，操作，导出？
如果是这样，您可以使用dask.dataframe进行切片，执行计算并迭代导出。通过dask静默执行分块，它也支持pandas API的子集。
3.如果所有其他方法都失败了，请通过块逐行读取。
是以块的形式处理CSV作为最后的手段。

上条把妹之手

数据集太大了