python - psycopg2 大量数据插入/更新性能优化

Question

在写一个数据统计的脚本，基本流程是从一个表中取出数据(现在每次取约10万条记录)，在内存中进行一些整理和计算，再插入/更新到另外一张表中，每次经过整理的需要插入/更新的数据大约有几万到十几万条。
源数据表和目的数据表都事先建好了索引，查询操作都是通过索引查找。
因为用的数据库是postgresql 9.4, 不支持upsert功能，
最开始在插入数据时，对于每条要插入的数据，先select 判断数据是否存在，存在则update，否则insert
后来做了一些优化，在select判断之后用两个list分别保存要插入和更新的数据，然后在list缓存比较多的数据之后用executemany一次性插入或者更新数据，再执行commit，但是性能还是不够理想，请问有什么好的建议吗？

Answer 1

1. wiki 上不少 upsert 的解决方案。你看看有没有适合的？

2. 你的提交频率如何？

3. 要不要试试使用存储过程来计算？

4. masterized view？