Merge remote-tracking branch 'origin/master'

comData/haiguanData/海关采集说明.md

-
+
@@ -17,9 +17,11 @@ outerField3: TRADE_MODE #贸易方式
 outerField4: TRADE_CO_PORT #收发货地址
 
 
+海关网站的数据分类
 
-
-
+1、近期数据库 2022年1月之后的数据
+2、老数据库 2022年1月之前的数据
+3、跨库的数据 2022年的累计数据
 
 
 

comData/weixin_solo/wxList.py

@@ -7,10 +7,11 @@ import pymysql
 import requests
 import urllib3
 from pymysql.converters import escape_string
-
-from base.BaseCore import BaseCore
+import sys
+sys.path.append('D:\\zzsn_spider\\base')
+import BaseCore
 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
-baseCore = BaseCore()
+baseCore =BaseCore.BaseCore()
 log = baseCore.getLogger()
 
 headers = {
@@ -146,6 +147,7 @@ def getToken():
         pass
     else:
         #没有查到token
+        log.info("没有拿到token")
         return False
 
     return row[0]
@@ -161,8 +163,11 @@ def getPageData(dic_url,page):
     if tokenAndCookie:
         pass
     else:
+        log.info("没有拿到token,开始递归")
         while True:
+             log.info("没有拿到token,开始休眠")
              time.sleep(60)
+             log.info("没有拿到token,结束休眠")
              tokenAndCookie = getToken()
              if tokenAndCookie:
                 break
@@ -262,8 +267,7 @@ if __name__=="__main__":
             log.info("redis已经没有数据了，重新放置数据")
             getFromSql()
             time.sleep(60)
-            continue
-            # infoSourceCode = baseCore.redicPullData('WeiXinGZH:infoSourceCode')
+            infoSourceCode = baseCore.redicPullData('WeiXinGZH:infoSourceCode')
         getWxList(infoSourceCode)
 
     # infoSourceCode = 'IN-20220917-0159'

test/esc.py

+import json
+from operator import itemgetter
+from itertools import groupby
+
+files=r'D:\hg\3.json'
+# 读取JSON文件
+with open(files, 'r') as file:
+    data = json.load(file)
+
+data=data['facts']['us-gaap']
+zb=[]
+# 遍历字典的key值
+for key in data.keys():
+    accounts=data[key]['units']
+    for kk in accounts.keys():
+        accounts=accounts[kk]
+        for account in accounts:
+            end=str(account['end'])
+            val=str(account['val'])
+            fp=str(account['fp'])
+            form=str(account['form'])
+            zhibiao={
+               'zbname':key,
+               'riqi':end,
+               'jine':val,
+               'fp':fp,
+               'form':form,
+            }
+            zb.append(zhibiao)
+#找10-K的数据
+# 根据age属性对列表内容进行分类
+zb.sort(key=itemgetter('form'))  # 先按照age属性进行排序
+forms = groupby(zb, key=itemgetter('form'))  # 根据age属性进行分组
+
+form_25_data = []
+for form, zz in forms:
+    if '10-K' in form :
+        form_25_data.extend(list(zz))
+
+# 根据age属性对列表内容进行分类
+form_25_data.sort(key=itemgetter('riqi'))  # 先按照age属性进行排序
+groups = groupby(form_25_data, key=itemgetter('riqi'))  # 根据age属性进行分组
+# 遍历每个分组，并打印分类结果
+for riqi, group in groups:
+    print(f"riqi: {riqi}")
+    for item in group:
+        print(item)
+    print()
+
+
+
+
+
+