Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
王景浩
zzsn_spider
Commits
d3fd7612
提交
d3fd7612
authored
11月 16, 2023
作者:
薛凌堃
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
11/16
上级
331279ef
隐藏空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
17 行增加
和
10 行删除
+17
-10
部署说明.md
comData/BaseInfo_qcc/部署说明.md
+8
-1
公告补采3.py
comData/noticeReport/公告补采3.py
+9
-9
没有找到文件。
comData/BaseInfo_qcc/部署说明.md
浏览文件 @
d3fd7612
部署基本信
息采集base_info.py
部署基本信
息采集base_info.py
...
...
@@ -2,3 +2,10 @@
2023.
11.2 :
更新企业名称对比文件创建 需要重新部署后开始采集 import openpyxl
BaseCore.py也需重新部署 check_excel_file(file_path) 函数
2023.
11.16:
企业新增自动化 baseinfo1113.py
部署在224服务器上,
采集逻辑:信用代码或企业g名称,对比提供的是否和采到的一样。
一样就采集信息,将采到的名字信用代码和提供的名字信用代码写入表中。不一样就将该企业放到表格里
判断不一样的逻辑是:如果都不一样,就取第一条数据,采集到曾用名,如果它的曾用名和提供的名字一样,也会去采集。
comData/noticeReport/公告补采3.py
浏览文件 @
d3fd7612
"""
"""
...
...
@@ -291,18 +291,18 @@ def run_threads(num_threads,esMethod):
thread
.
join
()
if
__name__
==
'__main__'
:
while
True
:
#
while True:
esMethod
=
EsMethod
()
p
=
0
result
=
esMethod
.
queryatt
(
index_name
=
esMethod
.
index_name
,
pnum
=
p
)
total
=
result
[
'hits'
][
'total'
][
'value'
]
if
total
==
0
:
log
.
info
(
'++++已没有数据+++++'
)
break
#
result = esMethod.queryatt(index_name=esMethod.index_name, pnum=p)
#
total = result['hits']['total']['value']
#
if total == 0:
#
log.info('++++已没有数据+++++')
#
break
start
=
time
.
time
()
num_threads
=
5
num_threads
=
8
run_threads
(
num_threads
,
esMethod
)
log
.
info
(
f
'
5
线程 每个处理200条数据 总耗时{time.time()-start}秒'
)
log
.
info
(
f
'
8
线程 每个处理200条数据 总耗时{time.time()-start}秒'
)
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论