Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
王景浩
zzsn_spider
Commits
d66eb70e
提交
d66eb70e
authored
8月 17, 2023
作者:
薛凌堃
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
微信公众号
上级
2744901e
全部展开
隐藏空白字符变更
内嵌
并排
正在显示
3 个修改的文件
包含
39 行增加
和
14 行删除
+39
-14
BaseCore.py
base/BaseCore.py
+24
-2
RedisPPData.py
base/RedisPPData.py
+15
-12
oneWeixin.py
comData/weixin_solo/oneWeixin.py
+0
-0
没有找到文件。
base/BaseCore.py
浏览文件 @
d66eb70e
...
@@ -241,7 +241,6 @@ class BaseCore:
...
@@ -241,7 +241,6 @@ class BaseCore:
except
:
except
:
pass
pass
# 计算耗时
# 计算耗时
def
getTimeCost
(
self
,
start
,
end
):
def
getTimeCost
(
self
,
start
,
end
):
seconds
=
int
(
end
-
start
)
seconds
=
int
(
end
-
start
)
...
@@ -393,7 +392,7 @@ class BaseCore:
...
@@ -393,7 +392,7 @@ class BaseCore:
# 从Redis的List中获取并移除一个元素
# 从Redis的List中获取并移除一个元素
def
redicPullData
(
self
,
key
):
def
redicPullData
(
self
,
key
):
item
=
self
.
r
.
l
pop
(
key
)
item
=
self
.
r
.
r
pop
(
key
)
return
item
.
decode
()
if
item
else
None
return
item
.
decode
()
if
item
else
None
# 获得脚本进程PID
# 获得脚本进程PID
...
@@ -494,4 +493,27 @@ class BaseCore:
...
@@ -494,4 +493,27 @@ class BaseCore:
def
rePutIntoR
(
self
,
item
):
def
rePutIntoR
(
self
,
item
):
self
.
r
.
rpush
(
'NewsEnterprise:gwqy_socialCode'
,
item
)
self
.
r
.
rpush
(
'NewsEnterprise:gwqy_socialCode'
,
item
)
#增加计数器的值并返回增加后的值
def
incrSet
(
self
,
key
):
# 增加计数器的值并返回增加后的值
new_value
=
self
.
r
.
incr
(
key
)
print
(
"增加后的值:"
,
new_value
)
return
new_value
#获取key剩余的过期时间
def
getttl
(
self
,
key
):
# 获取key的剩余过期时间
ttl
=
self
.
r
.
ttl
(
key
)
print
(
"剩余过期时间:"
,
ttl
)
# 判断key是否已过期
if
ttl
<
0
:
# key已过期,将key的值重置为0
self
.
r
.
set
(
key
,
0
)
self
.
r
.
expire
(
key
,
3600
)
time
.
sleep
(
2
)
base/RedisPPData.py
浏览文件 @
d66eb70e
...
@@ -118,7 +118,7 @@ def AnnualEnterprise_task():
...
@@ -118,7 +118,7 @@ def AnnualEnterprise_task():
#企业基本信息
#企业基本信息
def
BaseInfoEnterprise
():
def
BaseInfoEnterprise
():
# 获取国内企业
# 获取国内企业
gn_query
=
"select SocialCode from EnterpriseInfo where Place = '1' limit 1 "
gn_query
=
"select SocialCode from EnterpriseInfo where Place = '1' limit 1
0
"
cursor
.
execute
(
gn_query
)
cursor
.
execute
(
gn_query
)
gn_result
=
cursor
.
fetchall
()
gn_result
=
cursor
.
fetchall
()
gn_social_list
=
[
item
[
0
]
for
item
in
gn_result
]
gn_social_list
=
[
item
[
0
]
for
item
in
gn_result
]
...
@@ -165,32 +165,35 @@ def weixin_task():
...
@@ -165,32 +165,35 @@ def weixin_task():
##福布斯=====从数据库中读取信息放入redis
##福布斯=====从数据库中读取信息放入redis
def
FBS
():
def
FBS
():
# todo:调整为获取福布斯的数据库
# todo:调整为获取福布斯的数据库
gw_query
=
"select SocialCode from EnterpriseInfo where Place = '2'
"
# gw_query = "select id from EnterpriseInfo where ext1='fbs2000' and ext2='1' and Place=2
"
cursor
.
execute
(
gw_query
)
#
cursor.execute(gw_query)
gw_result
=
cursor
.
fetchall
()
#
gw_result = cursor.fetchall()
#
#
获取国内企业
#获取国内企业
gn_query
=
"select
SocialCode from EnterpriseInfo where Place = '1'
"
gn_query
=
"select
id from EnterpriseInfo where ext1='fbs2000' and ext2='1' and Place=1
"
cursor
.
execute
(
gn_query
)
cursor
.
execute
(
gn_query
)
gn_result
=
cursor
.
fetchall
()
gn_result
=
cursor
.
fetchall
()
gn_social_list
=
[
item
[
0
]
for
item
in
gn_result
]
gn_social_list
=
[
item
[
0
]
for
item
in
gn_result
]
gw_social_list
=
[
item
[
0
]
for
item
in
gw_result
]
#
gw_social_list = [item[0] for item in gw_result]
#
for
item
in
gw_social_list
:
#
for item in gw_social_list:
r
.
rpush
(
'NewsEnterprise
:gwqy_socialCode'
,
item
)
# r.rpush('NewsEnterpriseFbs
:gwqy_socialCode', item)
for
item
in
gn_social_list
:
for
item
in
gn_social_list
:
r
.
rpush
(
'NewsEnterprise:gnqy_socialCode'
,
item
)
if
not
r
.
exists
(
item
):
r
.
rpush
(
'NewsEnterpriseFbs:gnqy_socialCode'
,
item
)
if
__name__
==
"__main__"
:
if
__name__
==
"__main__"
:
start
=
time
.
time
()
start
=
time
.
time
()
# NewsEnterprise_task()
# NewsEnterprise_task()
# NewsEnterprise()
# NewsEnterprise()
FBS
()
# BaseInfoEnterprise()
# FBS()
# NoticeEnterprise_task()
# NoticeEnterprise_task()
# AnnualEnterprise_task()
# AnnualEnterprise_task()
NoticeEnterprise
()
log
.
info
(
f
'====={basecore.getNowTime(1)}=====添加数据成功======耗时:{basecore.getTimeCost(start,time.time())}==='
)
log
.
info
(
f
'====={basecore.getNowTime(1)}=====添加数据成功======耗时:{basecore.getTimeCost(start,time.time())}==='
)
# cnx.close()
# cnx.close()
# cursor.close()
# cursor.close()
...
...
comData/weixin_solo/oneWeixin.py
浏览文件 @
d66eb70e
差异被折叠。
点击展开。
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论