Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
Z
zzsn_spider
概览
概览
详情
活动
周期分析
版本库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
1
合并请求
1
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
丁双波
zzsn_spider
Commits
5d788bc9
提交
5d788bc9
authored
11月 28, 2023
作者:
薛凌堃
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Reits专题
上级
c702fb7b
全部展开
隐藏空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
19 行增加
和
26 行删除
+19
-26
BaseCore.py
REITs专题数据/BaseCore.py
+19
-26
reits.py
REITs专题数据/reits.py
+0
-0
没有找到文件。
REITs专题数据/BaseCore.py
浏览文件 @
5d788bc9
# REI
Ts专题核心工具包
# REI
Ts专题核心工具包
...
@@ -5,6 +5,7 @@ import random
...
@@ -5,6 +5,7 @@ import random
import
socket
import
socket
import
sys
import
sys
import
time
import
time
import
uuid
import
fitz
import
fitz
import
logbook
import
logbook
...
@@ -252,7 +253,7 @@ class BaseCore:
...
@@ -252,7 +253,7 @@ class BaseCore:
charset
=
'utf8mb4'
)
charset
=
'utf8mb4'
)
self
.
cursor_
=
self
.
cnx_
.
cursor
()
self
.
cursor_
=
self
.
cnx_
.
cursor
()
# 连接到Redis
# 连接到Redis
self
.
r
=
redis
.
Redis
(
host
=
"114.115.236.206"
,
port
=
6379
,
password
=
'clbzzsn'
,
db
=
6
)
self
.
r
=
redis
.
Redis
(
host
=
"114.115.236.206"
,
port
=
6379
,
password
=
'clbzzsn'
,
db
=
0
)
self
.
pool_caiji
=
PooledDB
(
self
.
pool_caiji
=
PooledDB
(
creator
=
pymysql
,
creator
=
pymysql
,
...
@@ -451,6 +452,7 @@ class BaseCore:
...
@@ -451,6 +452,7 @@ class BaseCore:
# def doc_page(self,file_path):
# def doc_page(self,file_path):
# doc = Document(file_path)
# doc = Document(file_path)
# return len(doc.sections)
# return len(doc.sections)
def
deliteATT
(
self
,
id
):
def
deliteATT
(
self
,
id
):
delitesql
=
f
"delete from clb_sys_attachment where id = '{id}' "
delitesql
=
f
"delete from clb_sys_attachment where id = '{id}' "
self
.
cursor_
.
execute
(
delitesql
)
self
.
cursor_
.
execute
(
delitesql
)
...
@@ -492,6 +494,9 @@ class BaseCore:
...
@@ -492,6 +494,9 @@ class BaseCore:
id
=
selects
[
0
]
id
=
selects
[
0
]
return
id
,
full_path
return
id
,
full_path
def
getuuid
(
self
):
get_timestamp_uuid
=
uuid
.
uuid1
()
# 根据 时间戳生成 uuid , 保证全球唯一
return
get_timestamp_uuid
# 获取文件大小
# 获取文件大小
def
convert_size
(
self
,
size_bytes
):
def
convert_size
(
self
,
size_bytes
):
...
@@ -520,37 +525,25 @@ class BaseCore:
...
@@ -520,37 +525,25 @@ class BaseCore:
except
:
except
:
time
.
sleep
(
3
)
time
.
sleep
(
3
)
continue
continue
page_size
=
0
for
i
in
range
(
0
,
3
):
for
i
in
range
(
0
,
3
):
try
:
try
:
# name = file_name
file_name
=
str
(
self
.
getuuid
())
+
category
if
category
in
file_name
:
result
=
obsClient
.
putContent
(
'zzsn'
,
'PolicyDocument/'
+
file_name
,
content
=
response
.
content
)
pass
else
:
file_name
=
file_name
+
category
result
=
obsClient
.
putContent
(
'zzsn'
,
'PolicyDocuments/'
+
file_name
,
content
=
response
.
content
)
break
break
except
:
except
:
time
.
sleep
(
3
)
time
.
sleep
(
3
)
continue
continue
try
:
if
page_size
<
1
:
time_now
=
time
.
strftime
(
"
%
Y-
%
m-
%
d
%
H:
%
M:
%
S"
,
time
.
localtime
())
# pdf解析失败
retData
[
'state'
]
=
True
# print(f'======pdf解析失败=====')
retData
[
'path'
]
=
result
[
'body'
][
'objectUrl'
]
.
split
(
'.com'
)[
1
]
return
retData
retData
[
'full_path'
]
=
unquote
(
result
[
'body'
][
'objectUrl'
])
else
:
retData
[
'file_size'
]
=
self
.
convert_size
(
file_size
)
try
:
retData
[
'create_time'
]
=
time_now
time_now
=
time
.
strftime
(
"
%
Y-
%
m-
%
d
%
H:
%
M:
%
S"
,
time
.
localtime
())
except
Exception
as
e
:
retData
[
'state'
]
=
True
print
(
f
'error:{e}'
)
retData
[
'path'
]
=
result
[
'body'
][
'objectUrl'
]
.
split
(
'.com'
)[
1
]
retData
[
'full_path'
]
=
unquote
(
result
[
'body'
][
'objectUrl'
])
retData
[
'file_size'
]
=
self
.
convert_size
(
file_size
)
retData
[
'create_time'
]
=
time_now
except
Exception
as
e
:
print
(
f
'error:{e}'
)
return
retData
return
retData
return
retData
return
retData
def
sendkafka
(
self
,
post_data
,
topic
):
def
sendkafka
(
self
,
post_data
,
topic
):
try
:
try
:
...
...
REITs专题数据/reits.py
浏览文件 @
5d788bc9
差异被折叠。
点击展开。
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论