Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
王景浩
zzsn_spider
Commits
96a78f4b
提交
96a78f4b
authored
8月 25, 2023
作者:
薛凌堃
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
天眼查核心人员
上级
01e0d716
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
18 行增加
和
11 行删除
+18
-11
CorePerson.py
comData/tcyQydt/CorePerson.py
+18
-11
没有找到文件。
comData/tcyQydt/CorePerson.py
浏览文件 @
96a78f4b
...
...
@@ -21,11 +21,11 @@ cnx_ = baseCore.cnx
cursor_
=
baseCore
.
cursor
list_all_1
=
[]
list_all_2
=
[]
taskType
=
'天眼查/核心人员
/福布斯
'
taskType
=
'天眼查/核心人员'
def
doJob
():
while
True
:
# 根据从Redis中拿到的社会信用代码,在数据库中获取对应基本信息
social_code
=
baseCore
.
redicPullData
(
'CorPersonEnterprise
Fbs
:gnqy_socialCode'
)
social_code
=
baseCore
.
redicPullData
(
'CorPersonEnterprise:gnqy_socialCode'
)
# 判断 如果Redis中已经没有数据,则等待
# social_code = 'ZZSN23011300000004'
if
social_code
==
None
:
...
...
@@ -38,24 +38,32 @@ def doJob():
pass
else
:
#数据重新塞入redis
baseCore
.
rePutIntoR
(
'CorPersonEnterprise
Fbs
:gnqy_socialCode'
,
social_code
)
baseCore
.
rePutIntoR
(
'CorPersonEnterprise:gnqy_socialCode'
,
social_code
)
continue
id
=
data
[
0
]
xydm
=
data
[
2
]
tycid
=
data
[
11
]
if
tycid
==
None
:
if
tycid
==
None
or
tycid
==
''
:
try
:
retData
=
getTycIdByXYDM
(
xydm
)
tycid
=
retData
[
'tycData'
][
'id'
]
#todo:写入数据库
updateSql
=
f
"update Enterprise set TYCID = '{tycid}' where SocialCode = '{xydm}'"
if
retData
:
tycid
=
retData
[
'id'
]
# todo:写入数据库
updateSql
=
f
"update EnterpriseInfo set TYCID = '{tycid}' where SocialCode = '{xydm}'"
cursor_
.
execute
(
updateSql
)
cnx_
.
commit
()
else
:
state
=
0
takeTime
=
baseCore
.
getTimeCost
(
start
,
time
.
time
())
baseCore
.
recordLog
(
social_code
,
taskType
,
state
,
takeTime
,
''
,
'获取天眼查id失败'
)
log
.
info
(
f
'======={social_code}====重新放入redis===='
)
baseCore
.
rePutIntoR
(
'CorPersonEnterprise:gnqy_socialCode'
,
social_code
)
continue
except
:
state
=
0
takeTime
=
baseCore
.
getTimeCost
(
start
,
time
.
time
())
baseCore
.
recordLog
(
social_code
,
taskType
,
state
,
takeTime
,
''
,
'获取天眼查id失败'
)
baseCore
.
rePutIntoR
(
'CorPersonEnterprise
Fbs:gnqy_socialCode'
,
social_code
)
baseCore
.
rePutIntoR
(
'CorPersonEnterprise
:gnqy_socialCode'
,
social_code
)
continue
count
=
data
[
17
]
log
.
info
(
f
"{id}---{xydm}----{tycid}----开始采集核心人员"
)
...
...
@@ -69,7 +77,6 @@ def doJob():
res
=
requests
.
get
(
url
,
headers
=
headers
,
proxies
=
ip
)
# ,verify=False
time
.
sleep
(
1
)
list_all
=
res
.
json
()[
'data'
][
'dataList'
]
if
list_all
:
for
one_info
in
list_all
:
name
=
one_info
[
'name'
]
...
...
@@ -254,9 +261,9 @@ def doJob():
print
(
response
.
text
)
log
.
info
(
'=========成功======'
)
except
Exception
as
e
:
log
.
info
(
f
'==={social_code}=====企业核心人员采集失败===='
)
log
.
info
(
f
'==={social_code}=====企业核心人员采集失败===
重新放入redis===
='
)
# 重新塞入redis
baseCore
.
rePutIntoR
(
'CorPersonEnterprise
Fbs
:gnqy_socialCode'
,
social_code
)
baseCore
.
rePutIntoR
(
'CorPersonEnterprise:gnqy_socialCode'
,
social_code
)
state
=
0
takeTime
=
baseCore
.
getTimeCost
(
start
,
time
.
time
())
baseCore
.
recordLog
(
social_code
,
taskType
,
state
,
takeTime
,
''
,
f
'获取企业信息失败--{e}'
)
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论