污妖王 发表于 2018-9-18 16:39:49

pandas MemoryError:

本帖最后由 污妖王 于 2018-9-18 17:48 编辑

我使用pandas.read_csv读取一个大的csv文件（aprox.6 GB），我收到以下内存错误：
MemoryError                               Traceback (most recent call last)
<ipython-input-58-67a72687871b> in <module>()
----> 1 data=pd.read_csv('aphro.csv',sep=';')

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in parser_f(filepath_or_buffer, sep, dialect, compression, doublequote, escapechar, quotechar, quoting, skipinitialspace, lineterminator, header, index_col, names, prefix, skiprows, skipfooter, skip_footer, na_values, na_fvalues, true_values, false_values, delimiter, converters, dtype, usecols, engine, delim_whitespace, as_recarray, na_filter, compact_ints, use_unsigned, low_memory, buffer_lines, warn_bad_lines, error_bad_lines, keep_default_na, thousands, comment, decimal, parse_dates, keep_date_col, dayfirst, date_parser, memory_map, nrows, iterator, chunksize, verbose, encoding, squeeze, mangle_dupe_cols, tupleize_cols, infer_datetime_format)
    450                     infer_datetime_format=infer_datetime_format)
    451
--> 452         return _read(filepath_or_buffer, kwds)
    453
    454   parser_f.__name__ = name

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in _read(filepath_or_buffer, kwds)
    242         return parser
    243
--> 244   return parser.read()
    245
    246 _parser_defaults = {

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows)
    693               raise ValueError('skip_footer not supported for iteration')
    694
--> 695         ret = self._engine.read(nrows)
    696
    697         if self.options.get('as_recarray'):

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows)
   1137
   1138         try:
-> 1139             data = self._reader.read(nrows)
   1140         except StopIteration:
   1141             if nrows is None:

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader.read (pandas\parser.c:7145)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._read_low_memory (pandas\parser.c:7369)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._read_rows (pandas\parser.c:8194)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_column_data (pandas\parser.c:9402)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_tokens (pandas\parser.c:10057)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser.TextReader._convert_with_dtype (pandas\parser.c:10361)()

C:\Python27\lib\site-packages\pandas\parser.pyd in pandas.parser._try_int64 (pandas\parser.c:17806)()

MemoryError:


强人锁男 发表于 2018-9-18 16:41:03

该错误表明机器没有足够的内存来将整个CSV一次读入DataFrame。假设您一次不需要内存中的整个数据集，避免问题的一种方法是以块的形式处理CSV（通过指定chunksize参数）：
chunksize = 10 ** 6
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

令狐少侠 发表于 2018-9-18 16:42:09

chunks=pd.read_table('aphro.csv',chunksize=1000000,sep=';',\
       names=['lat','long','rf','date','slno'],index_col='slno',\
       header=None,parse_dates=['date'])

df=pd.DataFrame()
%time df=pd.concat(chunk.groupby(['lat','long',chunk['date'].map(lambda x: x.year)])['rf'].agg(['sum']) for chunk in chunks)

蛋蛋超人 发表于 2018-9-18 16:44:59

分块不应该总是这个问题的第一个解决方案。
1.由于重复的非数字数据或不需要的列，文件是否很大？
如果是这样，您有时可以通过读取列作为类别并通过pd.read_csvusecols参数选择所需列来节省大量内存。
2.您的工作流程是否需要切片，操作，导出？
如果是这样，您可以使用dask.dataframe进行切片，执行计算并迭代导出。通过dask静默执行分块，它也支持pandas API的子集。
3.如果所有其他方法都失败了，请通过块逐行读取。
是以块的形式处理CSV作为最后的手段。

上条把妹之手 发表于 2018-10-10 08:13:41

数据集太大了
页: [1]
查看完整版本: pandas MemoryError: