Pandas to_excel 追加写入导致数据丢失的解决方法

使用Pandas的to_excel函数向已存在的Excel文件追加新的sheet时，可能会遇到数据丢失的情况。这种问题具有随机性，丢失的数据行数也不固定，增加了排查难度。本文将分析此问题，并提供解决方案。

问题描述：用户使用pandas.to_excel向名为5g数据-xxx.xlsx的Excel文件追加数据，代码片段如下：

xw_tidanfujian_adress=directory_save_adress+'/5g数据-' + key +'('+value.get('需求点编号')+').xlsx'
with pd.ExcelWriter(xw_tidanfujian_adress,mode="a",options={'encoding':'utf-8'}) as writer:
    print(linqu_dict.get('5g-5g邻区定义').loc[linqu_dict.get('5g-5g邻区定义')['源小区基站名']==key][['源小区基站名','源小区中文小区名']].head(20))
    linqu_dict.get('5g-5g邻区定义').loc[linqu_dict.get('5g-5g邻区定义')['源小区基站名']==key].to_excel(writer, sheet_name='5g-5g邻区定义',header=True,index=False)
df_gongdan_temp=pd.read_excel(xw_tidanfujian_adress,sheet_name='5g-5g邻区定义',header=0,index_col=0)
print(df_gongdan_temp[['源小区基站名','源小区中文小区名']].head(20))

用户发现写入前后数据存在差异，部分列值不完整。然而，修改写入数据后，重新写入的数据却是完整的，说明问题不在数据本身，而是在写入过程中。

进一步排查发现，并非所有写入操作都会出现此问题，且丢失的行号不固定。

最终解决方案：将pd.ExcelWriter的引擎指定为xlsxwriter：

with pd.ExcelWriter(xw_tidanfujian_adress, engine="xlsxwriter", options={'encoding': 'utf-8'}) as writer:
    # ... 写入代码 ...

问题得到解决。这表明默认引擎openpyxl在追加写入时存在兼容性或处理缺陷，导致数据丢失。因此，建议在使用pandas.to_excel追加写入时，显式指定引擎为xlsxwriter，以避免此类问题。