Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
王景浩
zzsn_spider
Commits
1d2e0f39
提交
1d2e0f39
authored
12月 04, 2023
作者:
薛凌堃
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
辽宁省人民政府
上级
98200599
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
6 行增加
和
6 行删除
+6
-6
policy-liaoning.py
REITs专题数据/policy-liaoning.py
+6
-6
没有找到文件。
REITs专题数据/policy-liaoning.py
浏览文件 @
1d2e0f39
impor
t
time
impor
t
time
...
...
@@ -16,7 +16,7 @@ policy = Policy()
topic
=
'policy'
webname
=
'
天津市
人民政府'
webname
=
'
辽宁省
人民政府'
headers
=
{
'User_Agent'
:
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0'
}
...
...
@@ -73,8 +73,8 @@ def doJob():
'title'
:
title
,
'publishDate'
:
publishDate
,
'origin'
:
'辽宁省人民政府'
,
'sourceAddress'
:
url
,
'writtenDate'
:
''
,
'sourceAddress'
:
href
,
'writtenDate'
:
None
,
'organ'
:
''
,
'topicClassification'
:
''
,
'issuedNumber'
:
pub_hao
,
...
...
@@ -84,8 +84,8 @@ def doJob():
}
try
:
baseCore
.
sendkafka
(
dic_info
,
topic
)
baseCore
.
r
.
sadd
(
'REITs::'
+
webname
,
url
)
log
.
info
(
f
'采集成功--{title}--{
url
}'
)
baseCore
.
r
.
sadd
(
'REITs::'
+
webname
,
href
)
log
.
info
(
f
'采集成功--{title}--{
href
}'
)
except
Exception
as
e
:
continue
num
+=
1
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论