提交 d3fd7612 作者: 薛凌堃

11/16

上级 331279ef
部署基本信息采集base_info.py
部署基本信息采集base_info.py
......@@ -2,3 +2,10 @@
2023.11.2 :
更新企业名称对比文件创建 需要重新部署后开始采集 import openpyxl
BaseCore.py也需重新部署 check_excel_file(file_path) 函数
2023.11.16:
企业新增自动化 baseinfo1113.py
部署在224服务器上,
采集逻辑:信用代码或企业g名称,对比提供的是否和采到的一样。
一样就采集信息,将采到的名字信用代码和提供的名字信用代码写入表中。不一样就将该企业放到表格里
判断不一样的逻辑是:如果都不一样,就取第一条数据,采集到曾用名,如果它的曾用名和提供的名字一样,也会去采集。
"""
"""
......@@ -291,18 +291,18 @@ def run_threads(num_threads,esMethod):
thread.join()
if __name__ == '__main__':
while True:
# while True:
esMethod = EsMethod()
p = 0
result = esMethod.queryatt(index_name=esMethod.index_name, pnum=p)
total = result['hits']['total']['value']
if total == 0:
log.info('++++已没有数据+++++')
break
# result = esMethod.queryatt(index_name=esMethod.index_name, pnum=p)
# total = result['hits']['total']['value']
# if total == 0:
# log.info('++++已没有数据+++++')
# break
start = time.time()
num_threads = 5
num_threads = 8
run_threads(num_threads,esMethod)
log.info(f'5线程 每个处理200条数据 总耗时{time.time()-start}秒')
log.info(f'8线程 每个处理200条数据 总耗时{time.time()-start}秒')
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论