2017-8-27 python 协程加速

发表于 | 更新于 | 分类于 ， | 评论数： | 阅读次数：
本文字数： 3.6k | 阅读时长 ≈ 3 分钟

情景描述：

上周，由于产品嫌报告生成太慢，经过使用profile/gprof2dot研究后，发现主要时间耗费在接口网络请求上，于是我决定在项目中大量处理I/O网络请求的地方使用gevent,以缓解报告生成压力。

阅读全文 »

2017-8-23 mongo insert_many BulkWriteError

发表于 | 更新于 | 分类于 ， | 评论数： | 阅读次数：
本文字数： 1.5k | 阅读时长 ≈ 1 分钟

问题：

在对mongo插入数据时，报写入问题，报错信息如下：

1
2
3
4
5
6
7
8
9
10
Traceback (most recent call last):
  File "/root/crs/call_history_crawler/worker/communicate.py", line 149, in insert_db_data
    if db[table].insert_many(data):
  File "/root/crs/call_history_crawler/venv/lib/python2.7/site-packages/pymongo/collection.py", line 684, in insert_many
    blk.execute(self.write_concern.document)
  File "/root/crs/call_history_crawler/venv/lib/python2.7/site-packages/pymongo/bulk.py", line 470, in execute
    return self.execute_command(sock_info, generator, write_concern)
  File "/root/crs/call_history_crawler/venv/lib/python2.7/site-packages/pymongo/bulk.py", line 314, in execute_command
    raise BulkWriteError(full_result)
BulkWriteError: batch op errors occurred

阅读全文 »