提交 d3fd7612 作者: 薛凌堃

11/16

上级 331279ef
部署基本信息采集base_info.py 部署基本信息采集base_info.py
...@@ -2,3 +2,10 @@ ...@@ -2,3 +2,10 @@
2023.11.2 : 2023.11.2 :
更新企业名称对比文件创建 需要重新部署后开始采集 import openpyxl 更新企业名称对比文件创建 需要重新部署后开始采集 import openpyxl
BaseCore.py也需重新部署 check_excel_file(file_path) 函数 BaseCore.py也需重新部署 check_excel_file(file_path) 函数
2023.11.16:
企业新增自动化 baseinfo1113.py
部署在224服务器上,
采集逻辑:信用代码或企业g名称,对比提供的是否和采到的一样。
一样就采集信息,将采到的名字信用代码和提供的名字信用代码写入表中。不一样就将该企业放到表格里
判断不一样的逻辑是:如果都不一样,就取第一条数据,采集到曾用名,如果它的曾用名和提供的名字一样,也会去采集。
""" """
...@@ -291,18 +291,18 @@ def run_threads(num_threads,esMethod): ...@@ -291,18 +291,18 @@ def run_threads(num_threads,esMethod):
thread.join() thread.join()
if __name__ == '__main__': if __name__ == '__main__':
while True: # while True:
esMethod = EsMethod() esMethod = EsMethod()
p = 0 p = 0
result = esMethod.queryatt(index_name=esMethod.index_name, pnum=p) # result = esMethod.queryatt(index_name=esMethod.index_name, pnum=p)
total = result['hits']['total']['value'] # total = result['hits']['total']['value']
if total == 0: # if total == 0:
log.info('++++已没有数据+++++') # log.info('++++已没有数据+++++')
break # break
start = time.time() start = time.time()
num_threads = 5 num_threads = 8
run_threads(num_threads,esMethod) run_threads(num_threads,esMethod)
log.info(f'5线程 每个处理200条数据 总耗时{time.time()-start}秒') log.info(f'8线程 每个处理200条数据 总耗时{time.time()-start}秒')
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论