Microsoft 365 和 Office | Excel | 教育版 | 其他
Microsoft 电子表格软件系列，其中包含用于分析、绘制图表和传达数据的工具。
![](data:image/svg+xml, %3Csvg xmlns='http://www.w3.org/2000/svg' height='64' class='font-weight-bold' style='font: 600 30.11764705882353px "SegoeUI", Arial' width='64'%3E%3Ccircle fill='hsl(291.2, 71%, 38%)' cx='32' cy='32' r='32' /%3E%3Ctext x='50%25' y='55%25' dominant-baseline='middle' text-anchor='middle' fill='%23FFF' %3ED%3C/text%3E%3C/svg%3E)
这么大的 CSV 文件，何不在Python处理之前，先将其转为关系型数据库文件呢？
毕竟数据库操作，一般比文本文件操作要快数量级吧。
如何在 Python 中高效读取大型 CSV 文件？
![](data:image/svg+xml, %3Csvg xmlns='http://www.w3.org/2000/svg' height='64' class='font-weight-bold' style='font: 600 30.11764705882353px "SegoeUI", Arial' width='64'%3E%3Ccircle fill='hsl(185.6, 95%, 27%)' cx='32' cy='32' r='32' /%3E%3Ctext x='50%25' y='55%25' dominant-baseline='middle' text-anchor='middle' fill='%23FFF' %3ETS%3C/text%3E%3C/svg%3E)
t1st system
0
信誉分
我有一个 5GB 的 CSV 文件，直接用 pandas.read_csv() 读取会导致内存不足。
请问有什么好的方法可以处理大型 CSV 文件？
我尝试过：
- 使用 chunksize 参数分块读取
- 使用 dask 库
但还是想了解更多最佳实践，谢谢！
Microsoft 365 和 Office | Excel | 教育版 | 其他