Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
王景浩
zzsn_spider
Commits
6ab56371
提交
6ab56371
authored
9月 13, 2023
作者:
薛凌堃
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
9/13
上级
1de3a9f5
显示空白字符变更
内嵌
并排
正在显示
3 个修改的文件
包含
38 行增加
和
42 行删除
+38
-42
东方财富网财务数据.py
comData/caiwushuju/东方财富网财务数据.py
+36
-40
NQgetid.py
comData/dfcfwGpdm/NQenterprise/NQgetid.py
+1
-1
get_tokenCookies.py
comData/weixin_solo/get_tokenCookies.py
+1
-1
没有找到文件。
comData/caiwushuju/东方财富网财务数据.py
浏览文件 @
6ab56371
"""
"""
...
@@ -51,16 +51,16 @@ def get_info(social_code, com_code,info_date,delist_all,info_date_list,taskType)
...
@@ -51,16 +51,16 @@ def get_info(social_code, com_code,info_date,delist_all,info_date_list,taskType)
except
:
except
:
time
.
sleep
(
1
)
time
.
sleep
(
1
)
#判断该报告期是否已采过
#判断该报告期是否已采过
for
nnn
in
range
(
0
,
3
):
#
for nnn in range(0, 3):
try
:
#
try:
panduan
=
check_date
(
com_code
,
info_date
)
#
panduan = check_date(com_code,info_date)
if
panduan
:
#
if panduan:
return
dic_info
#
return dic_info
else
:
#
else:
pass
#
pass
break
#
break
except
:
#
except:
time
.
sleep
(
1
)
#
time.sleep(1)
# 页面url,用于采集字段名称
# 页面url,用于采集字段名称
url_name
=
f
'https://emweb.eastmoney.com/PC_HSF10/NewFinanceAnalysis/Index?type=web&code={com_code}'
url_name
=
f
'https://emweb.eastmoney.com/PC_HSF10/NewFinanceAnalysis/Index?type=web&code={com_code}'
...
@@ -455,12 +455,10 @@ def getReportTime():
...
@@ -455,12 +455,10 @@ def getReportTime():
list_date
.
append
(
date
)
list_date
.
append
(
date
)
return
list_date
return
list_date
def
job
(
taskType
):
def
job
(
taskType
):
# 将上市企业库中的全部A股代码存入list
# 将上市企业库中的全部A股代码存入list
# 需要提供股票代码、企业信用代码
# 需要提供股票代码、企业信用代码
def
job
(
taskType
):
# 将上市企业库中的全部A股代码存入list
# 需要提供股票代码、企业信用代码
while
True
:
while
True
:
# 从redis中获取企业信用代码
# 从redis中获取企业信用代码
social_code
=
baseCore
.
redicPullData
(
'FinanceFromEast:finance_socialCode'
)
social_code
=
baseCore
.
redicPullData
(
'FinanceFromEast:finance_socialCode'
)
...
@@ -505,33 +503,33 @@ def job(taskType):
...
@@ -505,33 +503,33 @@ def job(taskType):
delist_all
=
[]
delist_all
=
[]
info_date_list
=
[]
info_date_list
=
[]
dic_info
=
get_info
(
social_code
,
com_code
,
info_date
,
delist_all
,
info_date_list
,
taskType
)
dic_info
=
get_info
(
social_code
,
com_code
,
info_date
,
delist_all
,
info_date_list
,
taskType
)
#
print(dic_info)
print
(
dic_info
)
# 将采集后的报告期存入redis
# 将采集后的报告期存入redis
if
len
(
info_date_list
)
!=
0
:
for
date
in
info_date_list
:
date_list
.
append
(
date
)
if
len
(
dic_info
)
!=
0
:
# 调凯歌接口存储数据
data
=
json
.
dumps
(
dic_info
)
# print(data)
url_baocun
=
'http://114.115.236.206:8088/sync/finance/df'
for
nnn
in
range
(
0
,
3
):
try
:
res_baocun
=
requests
.
post
(
url_baocun
,
data
=
data
)
break
except
:
time
.
sleep
(
1
)
print
(
res_baocun
.
text
)
for
nnn
in
range
(
0
,
3
):
try
:
add_date
(
com_code
,
date_list
)
break
except
:
time
.
sleep
(
1
)
# if len(info_date_list) != 0:
# if len(info_date_list) != 0:
# for date in info_date_list:
# for date in info_date_list:
# date_list.append(date)
# date_list.append(date)
# if len(dic_info) != 0:
# # 调凯歌接口存储数据
# data = json.dumps(dic_info)
# # print(data)
# url_baocun = 'http://114.115.236.206:8088/sync/finance/df'
# for nnn in range(0, 3):
# try:
# res_baocun = requests.post(url_baocun, data=data)
# break
# except:
# time.sleep(1)
# print(res_baocun.text)
#
# for nnn in range(0, 3):
# try:
# add_date(com_code, date_list)
# break
# except:
# time.sleep(1)
# # if len(info_date_list) != 0:
# # for date in info_date_list:
# # date_list.append(date)
log
.
info
(
date_list
)
log
.
info
(
date_list
)
# date_list = str(date_list)
# date_list = str(date_list)
end_time
=
time
.
time
()
end_time
=
time
.
time
()
...
@@ -539,9 +537,7 @@ def job(taskType):
...
@@ -539,9 +537,7 @@ def job(taskType):
cnx
.
close
()
cnx
.
close
()
cursor
.
close
()
cursor
.
close
()
baseCore
.
close
()
baseCore
.
close
()
cnx
.
close
()
cursor
.
close
()
baseCore
.
close
()
if
__name__
==
'__main__'
:
if
__name__
==
'__main__'
:
task_type
=
'财务数据/东方财富网'
task_type
=
'财务数据/东方财富网'
...
...
comData/dfcfwGpdm/NQenterprise/NQgetid.py
浏览文件 @
6ab56371
...
@@ -327,7 +327,7 @@ if __name__ == '__main__':
...
@@ -327,7 +327,7 @@ if __name__ == '__main__':
#从redis里拿数据
#从redis里拿数据
while
True
:
while
True
:
# TODO:需要隔两个小时左右抓包修改,token从数据库中获得
# TODO:需要隔两个小时左右抓包修改,token从数据库中获得
token
=
baseCore
.
GetToken
()
token
=
'83a9a9be4e9ecf3a8f8a20364227dc5d'
list_weicha
=
[]
list_weicha
=
[]
list_all_info
=
[]
list_all_info
=
[]
name_list
=
[]
name_list
=
[]
...
...
comData/weixin_solo/get_tokenCookies.py
浏览文件 @
6ab56371
...
@@ -57,7 +57,7 @@ if __name__=="__main__":
...
@@ -57,7 +57,7 @@ if __name__=="__main__":
url
=
"https://mp.weixin.qq.com/"
url
=
"https://mp.weixin.qq.com/"
browser
.
get
(
url
)
browser
.
get
(
url
)
# 可改动
# 可改动
time
.
sleep
(
6
0
)
time
.
sleep
(
2
0
)
s
=
requests
.
session
()
s
=
requests
.
session
()
#获取到token和cookies
#获取到token和cookies
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论