Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
王景浩
zzsn_spider
Commits
da835fd7
提交
da835fd7
authored
9月 08, 2023
作者:
LiuLiYuan
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
获取CIK 9/8
上级
7dcd1a4c
显示空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
49 行增加
和
4 行删除
+49
-4
BaseCore.py
base/BaseCore.py
+13
-3
annualreportUS.py
comData/annualReport_XQW/annualreportUS.py
+36
-1
没有找到文件。
base/BaseCore.py
浏览文件 @
da835fd7
...
...
@@ -678,9 +678,19 @@ class BaseCore:
id
=
selects
[
0
]
return
id
# 更新企业的CIK
def
updateCIK
(
self
,
social_code
,
cik
):
try
:
sql
=
f
"UPDATE EnterpriseInfo SET CIK = '{cik}' WHERE SocialCode = '{social_code}'"
cnn
=
self
.
pool_caiji
.
connection
()
cursor
=
cnn
.
cursor
()
cursor
.
execute
(
sql
)
cnn
.
commit
()
cursor
.
close
()
cnn
.
close
()
except
:
log
=
self
.
getLogger
()
log
.
info
(
'======保存企业CIK失败====='
)
...
...
comData/annualReport_XQW/annualreportUS.py
浏览文件 @
da835fd7
...
...
@@ -19,6 +19,8 @@ urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
from
bs4
import
BeautifulSoup
from
kafka
import
KafkaProducer
# from selenium import webdriver
log
=
baseCore
.
getLogger
()
def
paserUrl
(
html
,
listurl
):
# soup = BeautifulSoup(html, 'html.parser')
...
...
@@ -237,6 +239,39 @@ def getrequest(social_code,url,headers,data):
result
=
''
return
result
def
getCIK
(
social_code
,
code
):
cik
=
''
#"MNSO" post请求 获取企业CIK
payload
=
{
"keysTyped"
:
f
"{code}"
,
"narrow"
:
True
}
data
=
json
.
dumps
(
payload
)
result
=
getrequest
(
social_code
,
url
,
headers
,
data
)
#判断接口返回的数据哪一条是该企业 根据股票代码
tickers
=
result
[
'hits'
][
'hits'
]
if
len
(
tickers
)
==
0
:
log
.
error
(
f
'{code}....{social_code}....无hits'
)
return
cik
for
ticker
in
tickers
:
try
:
i_t_
=
ticker
[
'_source'
][
'tickers'
]
i_ts
=
i_t_
.
split
(
', '
)
except
:
continue
for
i_t
in
i_ts
:
if
i_t
==
code
:
cik
=
ticker
[
'_id'
]
if
len
(
cik
)
<
10
:
cik
=
format
(
int
(
cik
),
'0>10d'
)
baseCore
.
updateCIK
(
social_code
,
cik
)
break
if
cik
!=
''
:
break
if
cik
==
''
:
log
.
error
(
f
'{code}....{social_code}....无CIK'
)
else
:
log
.
info
(
f
'{code}....{social_code}....cik为{cik}'
)
return
cik
if
__name__
==
'__main__'
:
headers
=
{
'authority'
:
'efts.sec.gov'
,
...
...
@@ -308,7 +343,7 @@ if __name__ == '__main__':
# print(cik)
# break
# break
spider
(
com_name
,
cik
)
#
spider(com_name,cik)
# break
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论