使用大csv（iterate和chunksize）的pandas结构

使用大csv（iterate和chunksize）的pandas结构

解决方案，如果需要一次创建一个大文件，

Dataframe

如果需要一次处理所有数据（可能，但不推荐）：

然后将concat用于df的所有块，因为函数的输出类型为：

df = pd.read_csv('Check1_900.csv', sep='t', iterator=True, chunksize=1000)

是不是数据帧，而是

pandas.io.parsers.TextFileReader

-源。

tp = pd.read_csv('Check1_900.csv', sep='t', iterator=True, chunksize=1000)print tp#<pandas.io.parsers.TextFileReader object at 0x00000000150E0048>df = pd.concat(tp, ignore_index=True)

我认为有必要在函数中添加参数忽略索引

concat

，因为避免了索引的重复。

编辑：

但是如果要处理诸如聚合之类的大数据，最好使用

dask

，因为它提供了高级并行性。