Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
王景浩
zzsn_spider
Commits
481d2a7b
提交
481d2a7b
authored
11月 22, 2023
作者:
薛凌堃
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
天眼查采集不用代理ip
上级
b2ffd1b2
隐藏空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
8 行增加
和
5 行删除
+8
-5
getTycId.py
comData/Tyc/getTycId.py
+2
-1
tyc_qydt_add.py
comData/Tyc/tyc_qydt_add.py
+6
-4
没有找到文件。
comData/Tyc/getTycId.py
浏览文件 @
481d2a7b
...
...
@@ -55,7 +55,8 @@ def getTycIdByXYDM(xydm):
try
:
# headers['User-Agent'] = baseCore.getRandomUserAgent()
# headers['X-AUTH-TOKEN'] = baseCore.GetTYCToken()
response
=
requests
.
post
(
url
,
json
=
paramJsonData
,
headers
=
headers
,
verify
=
False
,
proxies
=
ip
)
# response = requests.post(url,json=paramJsonData,headers=headers,verify=False, proxies=ip)
response
=
requests
.
post
(
url
,
json
=
paramJsonData
,
headers
=
headers
,
verify
=
False
)
time
.
sleep
(
random
.
randint
(
3
,
5
))
retJsonData
=
json
.
loads
(
response
.
content
.
decode
(
'utf-8'
))
if
retJsonData
[
'data'
]
and
retJsonData
[
'state'
]
==
'ok'
:
...
...
comData/Tyc/tyc_qydt_add.py
浏览文件 @
481d2a7b
...
...
@@ -62,7 +62,8 @@ def beinWork(tyc_code, social_code,start_time):
for
m
in
range
(
0
,
3
):
ip
=
baseCore
.
get_proxy
()
headers
[
'User-Agent'
]
=
baseCore
.
getRandomUserAgent
()
response
=
requests
.
get
(
url
=
url
,
headers
=
headers
,
proxies
=
ip
,
verify
=
False
)
# response = requests.get(url=url, headers=headers, proxies=ip, verify=False)
response
=
requests
.
get
(
url
=
url
,
headers
=
headers
,
verify
=
False
)
time
.
sleep
(
random
.
randint
(
3
,
5
))
break
if
(
response
.
status_code
==
200
):
...
...
@@ -115,7 +116,8 @@ def beinWork(tyc_code, social_code,start_time):
try
:
ip
=
baseCore
.
get_proxy
()
headers
[
'User-Agent'
]
=
baseCore
.
getRandomUserAgent
()
response_page
=
requests
.
get
(
url
=
url_page
,
headers
=
headers
,
proxies
=
ip
,
verify
=
False
)
# response_page = requests.get(url=url_page, headers=headers, proxies=ip, verify=False)
response_page
=
requests
.
get
(
url
=
url_page
,
headers
=
headers
,
verify
=
False
)
# time.sleep(3)
break
except
:
...
...
@@ -283,8 +285,8 @@ def beinWork(tyc_code, social_code,start_time):
def
doJob
():
while
True
:
# 根据从Redis中拿到的社会信用代码,在数据库中获取对应基本信息
#
social_code = baseCore.redicPullData('NewsEnterprise:gnqy_socialCode')
social_code
=
'912301001275921118'
social_code
=
baseCore
.
redicPullData
(
'NewsEnterprise:gnqy_socialCode'
)
#
social_code = '912301001275921118'
# 判断 如果Redis中已经没有数据,则等待
if
social_code
==
None
:
time
.
sleep
(
20
)
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论