import inspect import pymysql import os from selenium import webdriver from selenium.webdriver.ie.options import Options from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.desired_capabilities import DesiredCapabilities from selenium.common.exceptions import TimeoutException from bs4 import BeautifulSoup import lxml.html # from lxml.cssselect import CSSSelector import requests import json import time import re # from konfig import Config import urllib from datetime import datetime, timedelta import sys import pandas as pd import html.entities # safe_encode import uuid import random import logging # pluins from plugins.sql.hooks.mysql_hook import CommonHookMySQL #환경설정 파일 로드 # CONF = Config(os.path.dirname(__file__) + "\\conf.ini") # DB_CONF = CONF.get_map("DB") # DRIVER = CONF.get_map("DRIVER") # DRIVER["EXT_PATH"] = os.path.dirname(__file__) + DRIVER["EXT_PATH"] # DB 연결 ID DB_CONN_ID = "COLLECT_SERVER_DB" #=============================================================================================================================================== #데이터베이스 커넥터 #=============================================================================================================================================== class dbconn(CommonHookMySQL): def __init__(self): pass def change_DB(self, DB_CONF): self.__init__(host=DB_CONF["host"], user=DB_CONF["user"], passwd=DB_CONF["passwd"], db=DB_CONF["db"], cs=DB_CONF["cs"]) #DB 접속 def sql_exec(self, qry, type): #print(qry) if type == "TEST": return '' else: if (type == "DS" or type=="DS_one"): cur = self.conn.cursor(pymysql.cursors.DictCursor) else: cur = self.conn.cursor() cur.execute(qry) if (type=="S" or type=="DS"): rows = cur.fetchall() if (type == "S_one" or type == "DS_one"): rows = cur.fetchone() #cur.close() #conn.close() if(type=="S" or type=="DS"): return rows if (type == "S_one" or type == "DS_one"): if rows is not None: return rows[0] else: return '' #쿼리 문자열 클린징 def clean_param(self, _str): _str = Util.clean_str(self, _str, [["'","\\'"],]) return _str def Upsert_table(self, dataset, exec_mode="EXEC"): # del_col은 비교시 제외할 컬럼 리스트 # 샘플 데이터셋 # dataset = { # "key": {"n_num": last_nbbs_detail["n_num"], "biz_num": last_nbbs_detail["biz_num"]}, # "table": "last_nbbs_detail", # "value": last_nbbs_detail # "type": "update" ==> update : 없으면 입력 있으면 변경분 수정 , insert : 없으면 입력 있으면 아무것도 안함, updateonly : 없으면 입력 안함, insertonly : 입력만 함 # "del_col": ["code", "reg_date", "ipchal_date"] # "orderby": "" # } orderby = dataset["orderby"] if "orderby" in dataset else "" whereis = dataset["whereis"] if "whereis" in dataset else "" #키가 있는지 확인 if dataset["table"] != 'bid_content': row = self.get_one_row(dataset["key"], dataset["table"], orderby) elif dataset["table"] == 'bid_content': try: attchd_lnk = dataset["value"]['attchd_lnk'] if "attchd_lnk" in dataset['value'] else "" except: attchd_lnk = '' # bid_html로 오류가 날수잇으므로 발주처를 따로 관리, 나라장터 물품건 따로 HTML 넣어주기 Or 나라장터, 조달청 물품건 HTML 저장. # 나라장터 경우 첨부파일 없을 경우 bid_html 넣어주며, 공사/용역/물품 전부 포함. -> 차세대 나라장터 오픈 후 제거 # if whereis in ["17","03","96","81","91","44","21"] or ( whereis in ['01',"84","85","86"] and not attchd_lnk): if whereis in ["17","03","96","81","91","44","21"]: row = self.get_one_row(dataset["key"], dataset["table"], orderby,"bidid,bidcomment_mod,bidcomment,nbidcomment,bid_html, orign_lnk,s_orign_lnk,attchd_lnk,pur_lnk,bid_file,nbid_file,pur_goods,partition_seq") else: #bid_html로 오류가 날수잇으므로 오류가 나는 발주처는 빼준다 row = self.get_one_row(dataset["key"], dataset["table"], orderby,"bidid,bidcomment_mod,bidcomment,nbidcomment,orign_lnk,s_orign_lnk,attchd_lnk,pur_lnk,bid_file,nbid_file,pur_goods,partition_seq") #print("+++") #print(row) #print("+++") if row is None or dataset["type"] in ["insertonly", "insert"]: print("Upsert_table 입력모드 ==> dataset:", dataset) if dataset["type"] not in ["updateonly"]: print("self.Insert_table 실행") # ================================================================ # 인서트 처리부분 if exec_mode == "EXEC": self.Insert_table(dataset["value"], dataset["table"]) # ================================================================ else: print("updateonly 입력안함") else: if dataset["type"] in ["update", "updateonly"]: Etl = scraplib.Etl() #print("Upsert_table 수정모드 ==> row:", row) # 비교제외 컬럼 삭제 후 비교 diff = Etl.diff_array(Etl.del_key(row, dataset["del_col"]), Etl.del_key(dataset["value"], dataset["del_col"])) print("diff :", diff["MOD"]) if len(diff["MOD"]) > 0: _data = {} for _key, _value in diff["MOD"].items(): # if _value["NEW"] > _value["OLD"]: #새로운 데이터가 이전 데이터보다 클경우에만 수정 _data[_key] = _value["NEW"] if len(_data) > 0: print("self.Update_table 실행 [변경분 수정]=========>", _data) # ================================================================ # 업데이트 처리부분 if exec_mode == "EXEC": self.Update_table(_data, dataset["key"], dataset["table"]) # ================================================================ else: print("[insert 모드 입력 안함] ==> row:", row) def get_one_row(self, _where, tb_nm, orderby="", rtn_col="*"): where = '' for key, value in _where.items(): if value != None: if type(value) == dict: value_type = list(value.keys())[0] value_content = list(value.values())[0] if value_type == "KEY": where = where + " AND {key} = {value}".format(key=key, value=value_content) elif value_type == "LIKE": where = where + " AND {key} LIKE '{value}'".format(key=key, value=value_content) elif value_type == "IN": where = where + " AND {key} IN {value}".format(key=key, value=value_content) else: where = where + " AND {key} = '{value}'".format(key=key, value=value) query = "SELECT {rtn_col} FROM {tb_nm} WHERE 1 {where} {orderby} limit 1".format(tb_nm=tb_nm, where=where, orderby=orderby, rtn_col=rtn_col) print(query) row = self.select_sql_to_dict(query) #print("@@@") #print("get_one_row : ", row) #print("get_one_row2 : ") if( len(row) > 0 ): for key, value in row[0].items():#반환데이터 전처리 if type(value) == datetime:#날짜 형식은 포맷팅해서 텍스트로 변환 row[0][key] = str(value.strftime('%Y-%m-%d %H:%M:%S')) # print("=======================================================================>", key, row[0][key], type(row[0][key])) return row[0] else: return None def ck_Exist_one(self, _where, tb_nm): where = '' for key, value in _where.items(): if value != None: where = where + " AND {key} = '{value}'".format(key=key, value=value) query = "SELECT COUNT(*) FROM {tb_nm} WHERE 1 {where}".format(tb_nm=tb_nm, where=where) cnt = self.select_sql_to_dict(query)[0] if( cnt > 0 ): return True else: return False def ck_Exist_cnt(self, _where, tb_nm): where = '' for key, value in _where.items(): if value != None: where = where + " AND {key} = '{value}'".format(key=key, value=value) query = "SELECT COUNT(*) FROM {tb_nm} WHERE 1 {where}".format(tb_nm=tb_nm, where=where) cnt = self.select_sql_to_dict(query)[0] return cnt def ck_Exist_one_difftype(self, _where, tb_nm): where = '' for key, value in _where.items(): if value is not None: if value['type'] == 'equal': where = where + " AND {key} = '{value}'".format(key=key, value=value['data']) elif value['type'] == 'text': where = where + " AND {key} {value}".format(key=key, value=value['data']) query = "SELECT COUNT(*) FROM {tb_nm} WHERE 1 {where}".format(tb_nm=tb_nm, where=where) print(query) cnt = self.select_sql_to_dict(query) if( cnt > 0 ): return True else: return False def Insert_table(self, _data, tb_nm, rtn_fg=False): logging.info("[scraplib.Insert_table][쿼리실행] start") data_str = '' for key, value in _data.items(): if value != None: if data_str != '': data_str = data_str + " , " if value == "NOW()": data_str = data_str + "`{key}` = {value}".format(key=key, value=self.remove_quote(value)) else: data_str = data_str + "`{key}` = '{value}'".format(key=key, value=self.remove_quote(value)) query = "INSERT INTO {tb_nm} SET {data_str}".format(tb_nm=tb_nm, data_str=data_str) try: self.insert_sql(query) except: logging.error('insert query error : ', query) pass # print(query) if rtn_fg == True: try: row = self.select_sql_to_dict("SELECT LAST_INSERT_ID() AS seq") logging.info("=====================>row:", row) return row[0]["seq"] except: pass logging.info("[scraplib.Insert_table][쿼리실행] end") def remove_quote(self, _val): if type(_val) == str: return _val.replace("'", "\\'") else: return _val def Update_table(self, _data, _where, tb_nm): print("[scraplib.Update_table][쿼리실행] start") data_str = '' for key, value in _data.items(): if value != None: if data_str != '': data_str = data_str + " , " if value == "NOW()": data_str = data_str + "`{key}` = {value}".format(key=key, value=self.remove_quote(value)) else: data_str = data_str + "`{key}` = '{value}'".format(key=key, value=self.remove_quote(value)) where = '' for key, value in _where.items(): if where != '': where = where + " AND " where = where + "{key} = '{value}'".format(key=key, value=self.remove_quote(value)) if data_str != '': query = "UPDATE {tb_nm} SET {data_str} WHERE {where}".format(tb_nm=tb_nm, data_str=data_str, where=where) self.process_sql(query) # print(query) print("[scraplib.Update_table][쿼리실행] end") def Delete_table(self, key, value, tb_nm): print("[scraplib.Delete_table][쿼리실행] start") if key and value and tb_nm: query = "DELETE FROM {tb_nm} WHERE {key}='{value}'".format(tb_nm=tb_nm, key=key, value=value) self.process_sql(query) print("[scraplib.Delete_table][쿼리실행] end") #=============================================================================================================================================== # 셀레늄 크롬드라이버 기반 크롤러 #=============================================================================================================================================== class chrome_selenium: # chromedriver = os.path.dirname(__file__)+DRIVER["CHROMEDRIVER_PATH"] # iedriver = os.path.dirname(__file__) + DRIVER["IEDRIVER_PATH"] iedriver = '' chromedriver = '' # os.environ["webdriver.chrome.driver"] = chromedriver driver = "" exec_type = "exec" crxs=[] def __init__(self, _exec_type, _crxs=[]): stack = inspect.stack() caller_frame = stack[1] caller_filename = caller_frame.filename caller_function = caller_frame.function if(_exec_type=="IE"): ie_options = Options() ie_options.ignore_protected_mode_settings = True self.driver = webdriver.Ie(executable_path=self.iedriver, options=ie_options) else: chrome_options = webdriver.ChromeOptions() if(_exec_type=="exec"): chrome_options.add_argument("--headless") chrome_options.add_argument("--no-sandbox") chrome_options.add_argument("--disable-gpu") chrome_options.set_capability('unhandledPromptBehavior', 'accept') if "www_kapt_go_kr" in caller_filename and caller_function == 'bid_collect_process': # kapt의 경우 첨부파일 경로를 가져오기위해 api 호출시 크로스도메인 오류를 뱉어내 재호출없이 네트워크 로그의 출력물을 판단하기 위해 아래 로직을 추가함 chrome_options.set_capability('goog:loggingPrefs', {"performance": "ALL"}) for crs in _crxs: chrome_options.add_extension(crs) #chrome_options.set_capability('unhandledPromptBehavior', 'accept') self.exec_type = _exec_type self.crxs = _crxs self.driver = webdriver.Chrome(self.chromedriver, options=chrome_options) # 해당 xpath 경로 프레임으로 포커스 이동 def switch_to_frame(self, XPATH): self.driver.switch_to_default_content() # 프레임 초기화 self.driver.switch_to.frame(self.driver.find_element_by_xpath(XPATH)) # 프레임 이동 # 최상위 프레임으로 포커스 복귀 def switch_to_default_frame(self): self.driver.switch_to_default_content() # 프레임 초기화 def rtn_elements_bs4(self, _selector): try: rtn = [] page_source = self.driver.page_source soup = BeautifulSoup(page_source, 'html.parser') listdata = soup.select(_selector) for i in listdata: rtn.append(Util.clean_str(self, i.text)) except Exception as e: print("rtn_elements_bs4 : ", e) rtn = [] return rtn def rtn_elements_bs4_request(self, _selector, _attr="TEXT"): try: rtn = [] soup = BeautifulSoup(self.page_source_request, 'html.parser') listdata = soup.select(_selector) for i in listdata: if _attr == "TEXT": _tmp = i.text else: _tmp = i.attrs[_attr] rtn.append(Util.clean_str(self, _tmp)) except Exception as e: print("chrome_selenium rtn_elements_bs4_request : ", e) rtn = [] return rtn def rtn_elements_lxml_request(self, _selector, _attr="TEXT"): try: rtn = [] tree = lxml.html.fromstring(self.page_source_request) # listdata = tree.findall(_selector) listdata = list(tree.xpath(_selector)) # print(listdata) for i in listdata: if _attr == "TEXT": _tmp = i.text_content().replace(" ", "") else: _tmp = i.attrib[_attr] rtn.append(Util.clean_str(self, _tmp)) except Exception as e: print("chrome_selenium rtn_elements_lxml_request : ", e) rtn = [] return rtn def rtn_elements_lxml_request_g2b(self, _selector, _type="XPATH", _attr="TEXT"): try: rtn = [] tree = lxml.html.fromstring(self.page_source_request) # listdata = tree.findall(_selector) listdata = list(tree.xpath(_selector)) if _attr == "TEXT_BR": print("rtn_elements_lxml_request_g2b listdata", listdata, type(listdata)) for _idx, i in enumerate(listdata): if _attr == "TEXT": _tmp = "".join(i.text_content()) elif _attr == "TEXT_BR": if _idx == 0: tmp_sub = [] tmp_sub.append(Util.clean_str(self, i.text)) # print("===>", Util.clean_str(self, i.text)) for a in i: tmp_sub.append(Util.clean_str(self, a.tail)) # print("===>", Util.clean_str(self, a.tail)) _tmp = "
".join(tmp_sub) print(_tmp) else: _tmp = i.attrib[_attr] rtn.append(Util.clean_str(self, _tmp)) if len(rtn) == 0: rtn.append("") except Exception as e: print("chrome_selenium rtn_elements_lxml_request : ", e) rtn = [] return rtn def rtn_elements_regex_g2b(self, _selector): try: rtn = re.findall(_selector, self.page_source_request) except Exception as e: print("chrome_selenium rtn_elements_regex_g2b : ", e) rtn = None return rtn # 페이지 소스에서 객체정보 추출 _type : CSS, XPATH def rtn_element(self, _selector, _type="CSS", _attr=""): try: if(_type=="CSS_CLICK"): rtn = self.driver.find_element_by_css_selector(_selector).click() elif(_type=="XPATH_CLICK"): rtn = self.driver.find_element_by_xpath(_selector).click() elif (_type == "CSS"): rtn = Util.clean_str(self, self.driver.find_element_by_css_selector(_selector).text) elif (_type == "CSS_TEXT"): self.driver.find_element_by_css_selector(_selector).clear() self.driver.find_element_by_css_selector(_selector).send_keys(_attr) rtn = "" elif (_type == "XPATH_TEXT"): self.driver.find_element_by_xpath(_selector).clear() self.driver.find_element_by_xpath(_selector).send_keys(_attr) rtn = "" else:# XPATH if (_attr == "getText"): rtn = self.driver.find_element_by_xpath(_selector).getText() elif (_attr != ""): rtn = self.driver.find_element_by_xpath(_selector).get_attribute(_attr) else: rtn = Util.clean_str(self, self.driver.find_element_by_xpath(_selector).text) except: print("_selector not found : ", _selector) rtn = "" #특수문자 print 할경우 오류방생으로 주석 #print("rtn_element [", _selector, "] :", rtn) return rtn def rtn_elements(self, _selector, _type="CSS", _attr=""): try: if(_type=="CSS"): tmp = self.driver.find_elements_by_css_selector(_selector) else: tmp = self.driver.find_elements_by_xpath(_selector) rtn = [] for t in tmp: if(_attr!="" and _type=="XPATH"): rtn.append(t.get_attribute(_attr)) # 2021-08-23 추가, 상단 XPATH 제거해도 되는지 재택끝나면 확인 elif (_attr != ""): rtn.append(t.get_attribute(_attr)) else: rtn.append(Util.clean_str(self, t.text)) except: print("_selector not found : ", _selector) rtn = [] return rtn def callback(self, callback=None,_lists=None, driver=None, _alert=False): if (driver == None): driver = chrome_selenium(self.exec_type, self.crxs) for list in _lists: print(list["url"]) try: if _alert == True: #alert 처리 driver.get_URL(list["url"], 5, '', True) else: driver.get_URL(list["url"]) callback(list["list"], driver) except Exception as e: print('Exception : callback오류 ', e) """ error_text = str(e) if error_text.find("WinError") != -1: os.exit(0) """ def callback_for_s2b(self, callback=None,_lists=None, driver=None): if (driver == None): driver = chrome_selenium(self.exec_type, self.crxs) for list in _lists: print(list["url"]) try: driver.get_URL(list["url"]) callback(list["list"], list["url"], driver) except Exception as e: print('Exception : callback오류 ', e) """ error_text = str(e) if error_text.find("WinError") != -1: os.exit(0) """ def callback_post(self, callback=None,_lists=None, driver=None): for list in _lists: print(list["url"],list["list"]["link_post"]) try: try: PARAMS = json.loads(list["list"]["link_post"]) except: PARAMS = {} driver.get_URL_request(list["url"], PARAMS, "POST", "TEXT") callback(list["list"], driver) except Exception as e: print('Exception : ', e) def callback_get(self, callback=None, _lists=None, driver=None): for _list in _lists: try: driver.get_URL_request(_list["url"], "", "GET", "TEXT") callback(_list["list"], driver) except Exception as e: print('Exception : ', e) def callback_xml(self, callback=None, _lists=None, driver=None, _alert=False): print("callback_xml") if (driver == None): driver = chrome_selenium(self.exec_type, self.crxs) for list in _lists: print(list) try: # driver.get_URL(list["url"]) headers = {'Content-Type': 'application/xml'} response = requests.post(list["payload_url"], data=list["payload_xml"], headers=headers) response_text = response.text callback(list, response_text, driver) except Exception as e: print('Exception : callback오류 ', e) """ error_text = str(e) if error_text.find("WinError") != -1: os.exit(0) """ def get_URL_request(self, URL, PARAMS, METHOD="GET", RTN_TYPE="JSON", HEADERS=None, COOKIES=None, TIMEOUT=30): self.page_source_request = Util.get_URL(self, URL, PARAMS, METHOD, RTN_TYPE, HEADERS, COOKIES, TIMEOUT) # url 의 경우 단일일경우 문자열 "", 경유가 필요한경우 ["","" ...] 문자열리스트 def get_URL(self, url, sec=5, id="", fg_alert=False): if (type(url) is str):#문자열일경우 try: self.driver.get(url) if(fg_alert==True): try: alert = self.driver.switch_to_alert() alert.accept() except Exception as e: pass # print('Exception : ', e) time.sleep(1) wait = WebDriverWait(self.driver, sec) if id != '': wait.until(EC.element_to_be_clickable((By.ID, id))) except: pass else:#리스트일경우 try: for _url in url: self.driver.get(_url) if(fg_alert==True): try: alert = self.driver.switch_to_alert() alert.accept() except Exception as e: print('Exception : ', e) time.sleep(1) except Exception as e: print('Exception : ', e) #마지막 페이지만 기다렸다 수집 wait = WebDriverWait(self.driver, sec) if id != '': wait.until(EC.element_to_be_clickable((By.ID, id))) pass body = self.driver.page_source return body def check_until_alert_show(self, sec=7) -> None: """ loop until every alert, confirm is dismissed in given second :param sec: second that dev can set :return: None """ wait = WebDriverWait(self.driver, sec) try: wait.until(EC.alert_is_present()) confirm = self.driver.switch_to.alert confirm.dismiss() self.check_until_alert_show() except Exception as TimeoutException: pass #=============================================================================================================================================== # 유틸리티 펑션 #=============================================================================================================================================== class Util: # 네이트온 메세지 발송 def send_msg(self, msg, id="LOG"): urls = { "ERROR": "https://teamroom.nate.com/api/webhook/6585e4a8/BGnMXKey8HUTwQROkmIaDiDK", "LOG": "https://teamroom.nate.com/api/webhook/6585e4a8/TapsrGOgqoSO8tfqCLwLpDqZ", # 토지주택공사 "LBC": "https://teamroom.nate.com/api/webhook/6585e4a8/a4OWV4umnnNJImGiZWtkCU6Z", "LBMC": "https://teamroom.nate.com/api/webhook/6585e4a8/a4OWV4umnnNJImGiZWtkCU6Z", # 한국철도공사 "KRL_B": "https://teamroom.nate.com/api/webhook/6585e4a8/IfAZig74jUBJWyZxtGRG2TML", "KRL_SB": "https://teamroom.nate.com/api/webhook/6585e4a8/IfAZig74jUBJWyZxtGRG2TML", # 국가철도공단 "KRBC": "https://teamroom.nate.com/api/webhook/6585e4a8/cFH2bM8GleIbHESCKUGZrT1i", # 국제협력단 "KOICA_B": "https://teamroom.nate.com/api/webhook/6585e4a8/M9ZTkpFS3TAtw9JqqOBIYvRk", # 한국마사회 "KRABA": "https://teamroom.nate.com/api/webhook/6585e4a8/MtTy4Weo6km2B18A4BMehh3e", # 전자통신연구원 "ETRI_B": "https://teamroom.nate.com/api/webhook/6585e4a8/lRNMkeMC8xSFjtzSr5Dq0UOy", #도로공사 "EBC": "https://teamroom.nate.com/api/webhook/6585e4a8/eug9PTbaJJJvXkvr8mhe2Mxv", "EBS": "https://teamroom.nate.com/api/webhook/6585e4a8/eug9PTbaJJJvXkvr8mhe2Mxv", "EBI": "https://teamroom.nate.com/api/webhook/6585e4a8/eug9PTbaJJJvXkvr8mhe2Mxv", #국토정보공사 "LX_B": "https://teamroom.nate.com/api/webhook/6585e4a8/KU8Np7Klx11XvNhnVZ0Sa52X", #강원랜드 "K_LAND_B": "https://teamroom.nate.com/api/webhook/6585e4a8/QgqK5vPDid0bzdSuS289Z70D", # 국방부 "D2B_B": "https://teamroom.nate.com/api/webhook/6585e4a8/s3FG0Tz2mk28nkp7jeNbAujZ", # 수자원공사 "KWATER_B": "https://teamroom.nate.com/api/webhook/6585e4a8/NwL7xpqYiVlHcutUn9fErMX8", # 나라장터 직접 "G2B_B": "https://teamroom.nate.com/api/webhook/6585e4a8/rSYzYnbAt3uCB5aambYDLDiZ", } try: try: url = urls[id] except: url = urls["LOG"] msg = u"content=" + msg + " | " + str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')) txt = msg.encode('utf-8') payload = txt headers = { 'content-type': "application/x-www-form-urlencoded", 'cache-control': "no-cache", 'postman-token': "6176cbc2-3050-4c1f-2d2a-4c25ae984e3f" } response = requests.request("POST", url, data=payload, headers=headers) print(response.text) except Exception as ex: print("send_msg() ERROR :", ex) #============================================================================== ##텍스트 클린징 함수 _str 은 문자열("asdf") 또는 문자열리스트(["asdf","qwer","zxcv"])가 올수 있다 ## def clean_str(self, _str, cus_pattern=[]): patterns=[#여기에 리스트형태로 리플레이스 패턴 추가 ["원래패턴","변경패턴"], ["①",""], ["③",""], ["․","."], ["\xa0","-"], ["\u2024","."], ["\u2e31","."], ["\u25ef", ""], ["\u2027","."], ["\uff62","["], ["\uff63","]"], ["\u2013","-"], ["\u2610","□"], ["\u2205","Ø"], ["\r",""], ["\t",""], ["\n",""], ["・","."], ["\u25e6", ""], ["\xa9", ""], ["\ufeff", ""], ["\u200b", ""], ["\u2219", ""], ["\u274d", ""], ["\u2782", ""], ["\u2981", ""], ["\u3007", ""], ["\u25fc", ""], ["\ufffd", ""], ["\u25ba", ""], ["\u20de", ""], ["\u302c", ""], ["\u0223", ""], ["\u22c5", ""], ["\u1100", ""], ["\u1161", ""], ["\u11bc", ""], ["\u1102", ""], ["\u11b7", ""], ["\u110b", ""], ["\u116f", ""], ["\u11ab", ""], ["\u1112", ""], ["\u116d", ""], ["\u1109", ""], ["\u1165", ""], ["\u1175", ""], ["\u2022", ""], ["\u2613", ""], ["\u27a1", ""], ["\U00010a50",""], ["\u25b9",""], ["\u2023",""], ["\u0228",""], ["\xb5",""], ["\u0387", ""], ["\u3693", ""], ["\u2715", ""], ["\u2714", ""], ["\u25a2", ""], ["\u1110", ""], ["\u1169", ""], ["\u11a8", ""], ["\u1107", ""], ["\u1173", ""], ["\u1111", ""], ["\u1167", ""], ["\u11af", ""], ["\u110e", ""], ["\u1103", ""], ["\u1162", ""], ["\u110c", ""], ["\u116e", ""], ["\uff65", ""], ["\uf09e", ""], ["\u24c7", ""], ["\u2002", ""], ["\u26aa", ""], ["\U000f0854", ""], ["\u2e33", ""], ["\U000f02ea", ""], ["\u2218",""], ["\u0278",""], ["\u2022", ""], ["\u022f", ""], ["\u24fd", ""], ["\u302e", ""], ["\u0368", ""], ["\u301c", "~"], ["\u02d1", "~"], ["\u21e8", "->"], ["\u25a2", ""], ["\u231f", ""], ["\u2780", ""], ["\u119e", ""], ["\u20a9", "원"], ["\u25cc", ""], ["\uf022", ""], ["\u0301", ""], ["\u1168", ""], ["\u1163", ""], ["\u1166", ""], ["\u2215", ""], ["\u231c", ""], ["\U000f02ef", ""], ["\uf0a0", ""], ["\u2014", ""], ["\u301a", ""], ["\u301b", ""], ["\uf028", ""], ["\u30fb", ""], ["\uf076", ""], ["\u25aa", ""], ["\u1104", ""], ["\u2776", ""], ["\u2777", ""], ["\u2613", ""], ["\u2000", ""], ["\u25b8", ""], ["\u2219", ""], ["\u2012", ""], ["\u233d", ""], ["\u8f66", ""], ["\u65f6", ""], ["\u95f4", ""], ["\u27f6", ""], ["\uf0a6", ""], ["\u21db", ""], ["\u2783", ""], ["\u2784", ""], ["\u2785", ""], ["\u2010", "-"], ["\U0001d635", ""], ["\u206d", ""], ["\u279f", ""], ["\u2d41", ""], ["\u278a", ""], ["\u278b", ""], ["\u278c", ""], ["\u27f9", ""], ["\u2035", ""], ["\u02dc", ""], ["\u2053", ""], ["\u301e", ""], ] # ["원래패턴", "변경패턴"], if(len(cus_pattern)>0):#커스텀 패턴이 있는경우 커스텀패턴 적용 patterns = cus_pattern if (type(_str) is str):#문자열일경우 try: _str = _str.strip() for pattern in patterns: _str=_str.replace(pattern[0],pattern[1]) except: pass else:#리스트일경우 try: _tmp = [] for _s in _str: _s = _s.strip() for pattern in patterns: _s = _s.replace(pattern[0], pattern[1]) _tmp.append(_s) _str = _tmp except: pass return _str #============================================================================== ##None 을 공백으로 def ck_None(self, _str): if(_str is None): _str = "" return _str #============================================================================== ## 문서에서 패턴을 매칭하여 반환 ## 샘플 : aa = spilt_rex_doc(text, "(var\sbidRateCode\s=\s')((\d|\.){2,6})(';)", 2) ## idx 는 정규식 그룹중 추출할 인덱스 def spilt_rex_doc(self, _doc, _pattern, _idx): for para in _doc.splitlines(): para_tmp = para.strip() print("para_tmp:",para_tmp) line = re.match(_pattern, para_tmp) print("line:",line) if line is not None: rtn = re.sub(_pattern, r"\{idx}".format(idx=_idx), para_tmp) return rtn return None #============================================================================== ## URL 직접수집 ## URL : 수집주소, PARAMS : 파라미터, METHOD : 전송방법(POST,GET), RTN_TYPE : 리턴타입(JSON,TEXT,PLAIN) ==> 필수파라미터 ## HEADERS=None, COOKIES=None, TIMEOUT=3 ==> 선택파라미터 # response.content # 응답 데이터(binary형식 내용,이미지파일 등) # response.text # 응답 데이터(텍스트형식 내용, 텍스트 파일에 씀) # response.json # 응답 데이터 JSON형태 # response.url # 해당 url 반환 # response.status_code # 응답 상태코드 (200 이면 성공) # response.headers # 응답 헤더의 {Key:Value} 형식의 딕셔너리 자료반환 # response.encoding = 'utf-8' # 응답 객체에 인코딩 지정 # HEADERS = {'User-Agent' : ('Mozilla/5.0 (Windows NT 10.0;Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'),'Referer': 'http://www.igunsul.net/'} def get_URL(self, URL, PARAMS, METHOD="GET", RTN_TYPE="JSON", HEADERS=None, COOKIES=None, TIMEOUT=60): #print("URL:", re.findall("^https:", URL)) try: if len(re.findall("^https:", URL)) > 0 or len(re.findall("^http://www.d2b.go.kr", URL)) > 0:#ssl 통신일경우 옵션 변경, 2024.10.18 국방부 SSL인증 임시조치 VAL_verify = False else: VAL_verify = True except: VAL_verify = True if RTN_TYPE == "JSON": NORMAL_PARAMS = '' JSON_PARAMS = PARAMS else: NORMAL_PARAMS = PARAMS JSON_PARAMS = '' if(METHOD=="GET"): if(HEADERS is not None and COOKIES is not None): response = requests.get(URL, params=NORMAL_PARAMS, json=JSON_PARAMS, headers=HEADERS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is not None and COOKIES is None): response = requests.get(URL, params=NORMAL_PARAMS, json=JSON_PARAMS, headers=HEADERS, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is None and COOKIES is not None): response = requests.get(URL, params=NORMAL_PARAMS, json=JSON_PARAMS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) # 나라장터 API 수집시 json 수집임에도 param을 json으로 넘겨주면 데이터를 못가져온다. json이 아닌 param으로 호출하도록 함 elif len(re.findall("apis.data.go.kr", URL)) > 0: response = requests.get(URL, params=JSON_PARAMS, json='', timeout=TIMEOUT, verify=VAL_verify) else: response = requests.get(URL, params=NORMAL_PARAMS, json=JSON_PARAMS, timeout=TIMEOUT, verify=VAL_verify) else: #POST if(HEADERS is not None and COOKIES is not None): response = requests.post(URL, data=NORMAL_PARAMS, json=JSON_PARAMS, headers=HEADERS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is not None and COOKIES is None): response = requests.post(URL, data=NORMAL_PARAMS, json=JSON_PARAMS, headers=HEADERS, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is None and COOKIES is not None): response = requests.post(URL, data=NORMAL_PARAMS, json=JSON_PARAMS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) else: response = requests.post(URL, data=NORMAL_PARAMS, json=JSON_PARAMS, timeout=TIMEOUT, verify=VAL_verify) ''' if(METHOD=="GET"): if(HEADERS is not None and COOKIES is not None): response = requests.get(URL, params=PARAMS, headers=HEADERS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is not None and COOKIES is None): response = requests.get(URL, params=PARAMS, headers=HEADERS, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is None and COOKIES is not None): response = requests.get(URL, params=PARAMS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) else: response = requests.get(URL, params=PARAMS, timeout=TIMEOUT, verify=VAL_verify) else: #POST if(HEADERS is not None and COOKIES is not None): response = requests.post(URL, data=PARAMS, headers=HEADERS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is not None and COOKIES is None): response = requests.post(URL, data=PARAMS, headers=HEADERS, timeout=TIMEOUT, verify=VAL_verify) elif(HEADERS is None and COOKIES is not None): response = requests.post(URL, data=PARAMS, cookies=COOKIES, timeout=TIMEOUT, verify=VAL_verify) else: response = requests.post(URL, data=PARAMS, timeout=TIMEOUT, verify=VAL_verify) ''' #print("status_code:", response.status_code) #print("response.text:", response.text) #print("response.headers:", response.headers) if(response.status_code == 200): if(RTN_TYPE=="JSON"): RTN = json.loads(response.text) elif(RTN_TYPE=="TEXT"): RTN = response.text else: RTN = response else: RTN = response.status_code return RTN #=============================================================================================================================================== # ETL 펑션 #=============================================================================================================================================== class Etl: dbconn_BI = dbconn() Util = Util() array_diff_list = [] DIC_G2BPartCode = {} def g2b_init(self): self.DIC_G2BPartCode = self.G2BPartCode() def del_key(self, _dic, _keys):# 딕셔너리 컬럼 삭제 for _col in _keys: try: del _dic[_col] except: pass return _dic def array_diff(self, a, b, path=None): # a : 기준값, b : 변경값 딕셔너리간 다른값 찾기 keys = a.keys()# a 를 기준으로 확인 for key in keys: if self.getValue(a, key, {}) == self.getValue(b, key, {}):# 하위 값이 같으면 패스 pass else: #하위값이 다른경우 내용을 풀어 확인한다 _path = key if path == None else path + "|" + key if type(self.getValue(a, key, {})) == dict and type(self.getValue(b, key, {})) == dict: self.array_diff(self.getValue(a, key, {}), self.getValue(b, key, {}), _path) else: self.array_diff_list.append([_path, self.getValue(a, key, {}), self.getValue(b, key, {})]) _path = path def diff_array(self, a, b): # 변경데이터 교집합, 차집합 작성 try: RTN = {} a = a if type(a) == dict else json.loads(a, strict=False) b = b if type(b) == dict else json.loads(b, strict=False) self.array_diff_list = [] # 데이터 초기화 self.array_diff(a, b) A = self.array_diff_list self.array_diff_list = [] # 데이터 초기화 self.array_diff(b, a) B = self.array_diff_list dic_intersection = {} dic_Acomplement = {} # A - B 차집합 dic_Bcomplement = {} # B - A 차집합 for Aval in A: FG = False for Bval in B: if Aval[0]==Bval[0]: FG = True break else: FG = False if FG == True: dic_intersection[Aval[0]] = {"OLD": Aval[1], "NEW": Aval[2]} else: dic_Acomplement[Aval[0]] = {"OLD": Aval[1], "NEW": Aval[2]} for Bval in B: FG = False for Aval in A: if Bval[0]==Aval[0]: FG = True break else: FG = False if FG == True: pass else: dic_Bcomplement[Bval[0]] = {"NEW": Bval[1], "OLD": Bval[2]} RTN["MOD"] = dic_intersection # 데이터가 수정된 경우 RTN["REMOVE"] = dic_Acomplement # 키가 사라진 경우 RTN["ADD"] = dic_Bcomplement # 키가 추가된 경우 return RTN except Exception as e: print(e) def blank_none_zero_To_0(self, _param): try: rtn = float(_param) except: rtn = 0 return rtn def change_detect_DB(self, _diff, syscollect, new): #데이터 변경시 테이블 자동반영 # ================================================================================================================== # 기초금액, A값, 순공사원가 변경 허용할 발주처 세팅 # 기초금액 변경 확인 추가 -> ([53] 국가철도공산, 2021.7) # A값 변경 확인 추가 -> ([53] 국가철도공산, 2021.7) # 순공사원가 변경 확인 추가 -> ([05] 토지주택공사, 2021.7.21) # # ================================================================================================================== print("===========================================================================") print("=====================change_detect_DB===>start=============================") allow_basic = ["52","53","91","08","05","04","03"]#기초금액 변경 확인 발주처 whereis allow_basic_type2 = ["10"] # 기초금액 변경 확인시 투찰율+사정율+난이도계수 함께 업데이트 발주처 whereis allow_premiumList = ["01","53","08","10","04"]#A값 변경 확인 발주처 whereis allow_bid_const_cost_list = ["01","05","08","10","04"]#순공사원가 변경 확인 발주처 whereis allow_bidcomment = ["91"] #전자통신연구원 참가자격 서류 allow_notice = ["10"] #공지사항 업데이트 # ================================================================================================================== new = new if type(new) == dict else json.loads(new, strict=False) bidid = syscollect["bidid"] # 파이프라인 detail_list_select 에서 데이터 추가 if bidid == "" or bidid is None: print("===========================================================================") print("=====================change_detect_DB======================================") print("=====================bidid is None=========================================") print("===========================================================================") return None if syscollect["a.whereis"] is not None: whereis = syscollect["a.whereis"] # 파이프라인 detail_list_select 에서 데이터 추가 else: whereis = None # ============================================================== # 변경감지에서 쌓인 로그를 임시로 남긴다. 정상적으로 쌓이는지 확인차 # 코드와 변경내용은 하단에서 종류별로 선언 후 insert # ============================================================== bid_notify = {} bid_notify['case'] = 'Notify' bid_notify['bidid'] = bidid bid_notify['confirm'] = 'N' bid_notify['uptime'] = "NOW()" # ============================================================================================================= # A값 변경 확인 premiumList if whereis in allow_premiumList: ck_premiumList = ["cost1", "cost2", "cost3", "cost4", "cost5", "cost6", "cost7", "cost8", "cost_total"]# A값 확인 컬럼 리스트 mod_premiumList = list(filter(lambda x: x is not None, list(map(lambda x: x if "premiumList|" + x in _diff["MOD"] else None, ck_premiumList))))# 변경된 컬럼 리스트 if len(mod_premiumList) > 0:# 변경된 값에 A값이 있는지 확인 _premiumList = {} for key in mod_premiumList: _premiumList[key] = _diff["MOD"]["premiumList|" + key]["NEW"]# 변경된 값 딕셔너리 작성 query = "SELECT `cost1`,`cost2`,`cost3`,`cost4`,`cost5`,`cost6`,`cost7`,`cost8`,`cost_total` FROM `premiumList` WHERE bidid = '{bidid}' limit 1".format(bidid=bidid)# 기존 입력된 데이터 가져오기 row = self.dbconn_BI.sql_exec(query, "DS") if len(row) > 0:# 이미 입력된 건이 있는경우 변경 비교 pass #추후 자동변경될시에 작업 # _premiumList_mod = {} # for key in _premiumList: # if _premiumList[key] != row[0][key]:# 저장데이터와 수집데이터가 다른것만 업데이트 # _premiumList_mod[key] = _premiumList[key] #self.dbconn_BI.Update_table(_premiumList_mod, {'bidid': bidid}, 'premiumList') #변경완료 후 알림이 필요하면 알림 작성 # JB A값 점검페이지 로그 남기기 new_cost_total = new["premiumList"].get("cost_total", 0) if "premiumList" in new else 0 _data_change_log_cost_a = {} for key in _premiumList: if _premiumList[key] != row[0][key]: # 저장데이터와 수집데이터가 다른 경우 _data_change_log_cost_a['data_type'] = 'cost_a_change' _data_change_log_cost_a['bidid'] = bidid _data_change_log_cost_a['notinum'] = syscollect["dkey"] _data_change_log_cost_a['whereis'] = whereis _data_change_log_cost_a['prev_data'] = row[0]['cost_total'] _data_change_log_cost_a['change_data'] = new_cost_total _data_change_log_cost_a['writedt'] = 'NOW()' self.dbconn_BI.Insert_table(_data_change_log_cost_a, 'data_change_log') # A값 항목별로 쌓을 필요가 없어서 1개 항목만 달라도 쌓고 종료 break elif whereis != '01': # 입력된 건이 없는 경우 입력 - 나라장터는 하단에서 별도 처리 함 _premiumList["bidid"] = bidid _premiumList["writedt"] = "NOW()" self.dbconn_BI.Insert_table(_premiumList, 'premiumList') query = "SELECT `state_a` FROM bid_key WHERE bidid = '{bidid}'".format(bidid=bidid) row = self.dbconn_BI.sql_exec(query, "DS") if len(row) > 0: if row[0]["state_a"] == "I": update_query = "UPDATE bid_key SET state_a = 'Y' WHERE bidid = '{bidid}'".format(bidid=bidid) self.dbconn_BI.sql_exec(update_query, "U") bid_notify['code'] = '0102' bid_notify['note'] = '[{dcode}] {dkey} - A값이 업데이트 되었습니다.'.format(dcode=syscollect['dcode'], dkey=syscollect['dkey']) self.dbconn_BI.Insert_table(bid_notify, 'bid_notify') # ============================================================================================================= # 순공사원가 변경확인 bid_const_cost_list if whereis in allow_bid_const_cost_list: ck_bid_const_cost_list = ["const_cost", "material", "labor", "expense", "tax", "const_cost_nbid", "updatedt_nbid"] # 순공사원가 확인 컬럼 리스트 mod_bid_const_cost_list = list(filter(lambda x: x is not None, list(map(lambda x: x if "bid_const_cost_list|" + x in _diff["MOD"] else None, ck_bid_const_cost_list)))) # 변경된 컬럼 리스트 if len(mod_bid_const_cost_list) > 0: # 변경된 값에 순공사원가 있는지 확인 _bid_const_cost_list = {} for key in mod_bid_const_cost_list: _bid_const_cost_list[key] = _diff["MOD"]["bid_const_cost_list|" + key]["NEW"] # 변경된 값 딕셔너리 작성 query = "SELECT `const_cost`,`material`,`labor`,`expense`,`tax`,`const_cost_nbid`,`updatedt_nbid` FROM `bid_const_cost_list` WHERE bidid = '{bidid}' limit 1".format(bidid=bidid) # 기존 입력된 데이터 가져오기 row = self.dbconn_BI.sql_exec(query, "DS") if len(row) > 0: # 이미 입력된 건이 있는경우 변경 비교 pass # 추후 자동변경될시에 작업 # 순공사원가 점검페이지 로그 남기기 _data_change_log = {} for key in _bid_const_cost_list: if _bid_const_cost_list[key] != row[0][key]: # 저장데이터와 수집데이터가 다른 경우 _data_change_log['data_type'] = 'const_cost' _data_change_log['bidid'] = bidid _data_change_log['notinum'] = syscollect["dkey"] _data_change_log['whereis'] = whereis _data_change_log['prev_data'] = row[0]['const_cost'] _data_change_log['change_data'] = _bid_const_cost_list[key] _data_change_log['writedt'] = 'NOW()' self.dbconn_BI.Insert_table(_data_change_log, 'data_change_log') # 입력하는 부분 # _bid_const_cost_list_mod = {} # for key in _bid_const_cost_list: # if _bid_const_cost_list[key] != row[0][key]: # 저장데이터와 수집데이터가 다른것만 업데이트 # _bid_const_cost_list_mod[key] = _bid_const_cost_list[key] # _bid_const_cost_list_mod["updatedt"] = "NOW()" # self.dbconn_BI.Update_table(_bid_const_cost_list_mod, {'bidid': bidid}, 'bid_const_cost_list') else: # 입력된 건이 없는 경우 입력 _bid_const_cost_list["bidid"] = bidid _bid_const_cost_list["writedt"] = "NOW()" # self.dbconn_BI.Insert_table(_bid_const_cost_list, 'bid_const_cost_list') pass bid_notify['code'] = '0103' bid_notify['note'] = '[{dcode}] {dkey} - 순공사원가가 업데이트 되었습니다.'.format(dcode=syscollect['dcode'], dkey=syscollect['dkey']) # self.dbconn_BI.Insert_table(bid_notify, 'bid_notify') #============================================================================================================= # 기초금액 변경 확인 # print("=====================기초금액1=====================") # print(whereis) # print(syscollect) if whereis in allow_basic:#whereis 값이 리스트에 허용된 발주처만 적용 print("=====================기초금액2=====================") if "bid_key|basic" in _diff["MOD"]:# 변경된 값에 기초금액이 있는지 확인 basic = self.blank_none_zero_To_0(_diff["MOD"]["bid_key|basic"]["NEW"]) # 새로 수집된 기초금액 print("=====================기초금액3=====================") if basic > 0: print("=====================기초금액4=====================") query = "SELECT `basic`, `bidtype`, `opt` FROM bid_key WHERE bidid = '{bidid}' AND constdt > NOW() limit 1".format(bidid=bidid) row = self.dbconn_BI.sql_exec(query, "DS") print("=====================기초금액5=====================") if len(row) > 0:# 공고가 조건(constdt > NOW() AND state = 'Y' AND bidproc = 'B')에 부합할때만 처리 if self.blank_none_zero_To_0(row[0]["basic"]) == 0: #기존 입력된 기초금액이 공백이거나 0일때 수정 print("=====================기초금액6=====================") _data = {} _data["basic"] = basic _data["opt"] = row[0]["opt"] + 512 self.dbconn_BI.Update_table(_data, {'bidid': bidid}, 'bid_key') print("=====================기초금액7=====================") bid_notify['code'] = '0101' bid_notify['note'] = '[{dcode}] {dkey} - 기초금액이 업데이트 되었습니다.'.format(dcode=syscollect['dcode'], dkey=syscollect['dkey']) self.dbconn_BI.Insert_table(bid_notify, 'bid_notify') # ============================================================================================================= # 기초금액 변경 확인시 투찰율+사정율+난이도계수+A값+순공사원가 함께 업데이트 (국방부는 기초금액이 나올경우 해당항목들이 같이 나와서 같이 업데이트 해줘야 함) if whereis in allow_basic_type2: # whereis 값이 리스트에 허용된 발주처만 적용 print("국방부 기초금액 업데이트 체크") print(_diff) _diff["MOD"].update(_diff["ADD"]) if "bid_key|basic" in _diff["MOD"]: # 변경된 값에 기초금액이 있는지 확인 print("1") basic = self.blank_none_zero_To_0(_diff["MOD"]["bid_key|basic"]["NEW"]) # 새로 수집된 기초금액 new = new if type(new) == dict else json.loads(new, strict=False) pct = new["bid_key"]["pct"] if "pct" in new["bid_key"] else '' # 투찰율 yegarng = new["bid_value"]["yegarng"] if "yegarng" in new["bid_value"] else '' # 예가범위 lvcnt = new["bid_value"]["lvcnt"] if "lvcnt" in new["bid_value"] else '' # 난이도계수 bidcomment = new["bid_content"]["bidcomment"] if "bidcomment" in new["bid_content"] else '' # 토목기초금액, 건설기초금액이 나오면 자격조건에 텍스트로만 넣어준다. if basic > 0: print("2") query = "SELECT `basic`, `bidtype`, `opt` FROM bid_key WHERE bidid = '{bidid}' AND constdt > NOW() limit 1".format(bidid=bidid) row = self.dbconn_BI.sql_exec(query, "DS") if len(row) > 0: # 공고가 조건(constdt > NOW() AND state = 'Y' AND bidproc = 'B')에 부합할때만 처리 if self.blank_none_zero_To_0(row[0]["basic"]) == 0: # 기존 입력된 기초금액이 공백이거나 0일때 수정 _data = {} _data["basic"] = basic _data["opt"] = row[0]["opt"] + 512 if pct: _data["pct"] = pct self.dbconn_BI.Update_table(_data, {'bidid': bidid}, 'bid_key') # bid_value 업데이트 if yegarng or lvcnt: _data = {} if yegarng: _data["yegarng"] = yegarng if lvcnt: _data["lvcnt"] = lvcnt self.dbconn_BI.Update_table(_data, {'bidid': bidid}, 'bid_value') # bid_content 업데이트 if bidcomment.find('기초금액') >= 0: # 1. 토목기초금액, 건설기초금액 내용이 자격조건에 세팅되었을때 -> 해당금액들은 따로 컬럼이 없고 자격조건에 텍스트로만 넣어주고 있음 bidcomment_query = "SELECT `bidcomment` FROM bid_content WHERE bidid = '{bidid}'".format(bidid=bidid) bidcomment_row = self.dbconn_BI.sql_exec(bidcomment_query, "DS") if bidcomment_row[0]["bidcomment"].find('기초금액') < 0: # 2. 기존 자격조건에 토목기초금액, 건설기초금액 내용이 없을때 if bidcomment_row[0]["bidcomment"]: bidcomment = bidcomment_row[0]["bidcomment"] + '\n' + bidcomment _data = {} _data["bidcomment"] = bidcomment self.dbconn_BI.Update_table(_data, {'bidid': bidid}, 'bid_content') # 기초금액 공개시 A값 같이 나와서 업데이트 필요 cost1 = new["premiumList"]["cost1"] if "cost1" in new["premiumList"] else '' cost2 = new["premiumList"]["cost2"] if "cost2" in new["premiumList"] else '' cost3 = new["premiumList"]["cost3"] if "cost3" in new["premiumList"] else '' cost4 = new["premiumList"]["cost4"] if "cost4" in new["premiumList"] else '' cost5 = new["premiumList"]["cost5"] if "cost5" in new["premiumList"] else '' cost6 = new["premiumList"]["cost6"] if "cost6" in new["premiumList"] else '' cost8 = new["premiumList"]["cost8"] if "cost8" in new["premiumList"] else '' if cost1 or cost2 or cost3 or cost4 or cost5 or cost6 or cost8: premium_query = "SELECT * FROM premiumList WHERE bidid ='{bidid}' LIMIT 1".format(bidid=bidid) premium_check = self.dbconn_BI.sql_exec(premium_query, "S_one") if premium_check is None or premium_check == '': insert_query = "INSERT INTO premiumList SET cost1 = '{cost1}', cost2 = '{cost2}', cost3 = '{cost3}', cost4 = '{cost4}', cost5 = '{cost5}', cost6 = '{cost6}', cost8 = '{cost8}', bidid = '{bidid}'".format(cost1=cost1, cost2=cost2, cost3=cost3, cost4=cost4, cost5=cost5, cost6=cost6, cost8=cost8,bidid=bidid) self.dbconn_BI.sql_exec(insert_query, "I") if syscollect["ext_info2"] != "공개수의": update_query = "UPDATE bid_key SET state_a = 'Y' WHERE bidid = '{bidid}'".format(bidid=bidid) self.dbconn_BI.sql_exec(update_query, "U") else: update_query = "UPDATE premiumList SET cost1 = '{cost1}', cost2 = '{cost2}', cost3 = '{cost3}', cost4 = '{cost4}', cost5 = '{cost5}', cost6 = '{cost6}', cost8 = '{cost8}' WHERE bidid = '{bidid}'".format(cost1=cost1, cost2=cost2, cost3=cost3, cost4=cost4, cost5=cost5, cost6=cost6, cost8=cost8,bidid=bidid) self.dbconn_BI.sql_exec(update_query, "U") query = "SELECT `state_a` FROM bid_key WHERE bidid = '{bidid}'".format(bidid=bidid) row = self.dbconn_BI.sql_exec(query, "DS") if len(row) > 0: if row[0]["state_a"] == "I": update_query = "UPDATE bid_key SET state_a = 'Y' WHERE bidid = '{bidid}'".format(bidid=bidid) self.dbconn_BI.sql_exec(update_query, "U") # 기초금액 공개시 순공사원가 같이 나와서 업데이트 필요 const_cost = new["bid_const_cost_list"]["const_cost"] if "const_cost" in new["bid_const_cost_list"] else '' expense = new["bid_const_cost_list"]["expense"] if "expense" in new["bid_const_cost_list"] else '' labor = new["bid_const_cost_list"]["labor"] if "labor" in new["bid_const_cost_list"] else '' material = new["bid_const_cost_list"]["material"] if "material" in new["bid_const_cost_list"] else '' tax = new["bid_const_cost_list"]["tax"] if "tax" in new["bid_const_cost_list"] else '' if const_cost or expense or labor or material or tax: const_cost_query = "SELECT bidid FROM bid_const_cost_list WHERE bidid ='{bidid}' LIMIT 1".format(bidid=bidid) const_cost_check = self.dbconn_BI.sql_exec(const_cost_query, "S_one") if const_cost_check: update_query = "UPDATE bid_const_cost_list SET material = '{material}', labor = '{labor}', expense = '{expense}', tax = '{tax}', const_cost = '{const_cost}' WHERE bidid = '{bidid}'".format(material=material, labor=labor, expense=expense, tax=tax, const_cost=const_cost,bidid=bidid) self.dbconn_BI.sql_exec(update_query, "U") else: insert_query = "INSERT INTO bid_const_cost_list SET material = '{material}', labor = '{labor}', expense = '{expense}', tax = '{tax}', const_cost = '{const_cost}', bidid = '{bidid}'".format(material=material, labor=labor, expense=expense, tax=tax, const_cost=const_cost,bidid=bidid) self.dbconn_BI.sql_exec(insert_query, "I") # ============================================================================================================= # 공지사항 업데이트 if whereis in allow_notice: if "bid_notice_memo|notice_memo" in _diff["MOD"]: prev_notice_query = "SELECT notice_memo FROM bid_notice_memo WHERE bidid = '{bidid}' ORDER BY reg_date LIMIT 1".format(bidid=bidid) prev_notice = self.dbconn_BI.sql_exec(prev_notice_query, "S_one") updateCheck = False # 이전 공지사항이 있으면 비교하여 다를경우, 공지사항 입력된게 없을경우 if prev_notice is not None and prev_notice != '': # DB에 있는 공지사항내용과 수집된 공지사항 내용이 다르면 if prev_notice != _diff["MOD"]["bid_notice_memo|notice_memo"]["NEW"]: updateCheck = True else: updateCheck = True if updateCheck == True: _data = {} _data["notice_memo"] = _diff["MOD"]["bid_notice_memo|notice_memo"]["NEW"] _data["writer_name"] = _diff["MOD"]["bid_notice_memo|writer_name"]["NEW"] _data["status"] = _diff["MOD"]["bid_notice_memo|status"]["NEW"] _data["reg_date"] = 'NOW()' _data["bidid"] = bidid self.dbconn_BI.Insert_table(_data, 'bid_notice_memo') # ====================================================== # 추후에 통합하여 트리거로 대체후 제거해야함. # ====================================================== trigger_table = "log_bid_trigger_y" if syscollect["ext_info"] == 'pur': trigger_table = "log_bid_trigger_pur" self.trigger_insert(bidid, trigger_table) # insert_query = "INSERT INTO {trigger_table} SET bidid='{bidid}', uptime= NOW()".format(trigger_table=trigger_table, bidid=bidid) # self.dbconn_BI.sql_exec(insert_query, "I") # ====================================================== # 추후에 통합하여 트리거로 대체후 제거해야함. # ====================================================== # ============================================================================================================= # 조달청 기초금액, A값, 순공사원가, 공지사항 업데이트 if syscollect["dcode"] in ["G2B_B"]: print("=================>조달청 입찰 업데이트 start") print("_diff :", _diff) if "bidtype" in syscollect: trigger_flag = 'N' ck_bid_value_MOD = self.extract_diff(_diff["MOD"], "bid_value", "NEW") # bid_value _diff_bid_value_MOD = _diff["ADD"] if len(ck_bid_value_MOD) == 0 else _diff["MOD"] # 첫입력일경우 _diff["ADD"] 데이터을 입력 bid_value_dataset = self.extract_diff(_diff_bid_value_MOD, "bid_value", "NEW") # _diff 에서 해당 테이블 데이터만 추출 if len(bid_value_dataset) > 0: # yegarng 변경시 if 'yegarng' in bid_value_dataset and bid_value_dataset['yegarng'] is not None and bid_value_dataset['yegarng'] != '': _bid_value_dataset = { "key": {"bidid": bidid}, "table": "i2.bid_value", "value": {"yegarng": bid_value_dataset['yegarng']}, "type": "updateonly", "orderby": "", "del_col": [], } print("i2.bid_value yegarng :", bid_value_dataset['yegarng']) trigger_flag = 'Y' self.dbconn_BI.Upsert_table(_bid_value_dataset, "EXEC") if 'lvcnt' in bid_value_dataset and bid_value_dataset['lvcnt'] is not None and bid_value_dataset['lvcnt'] != '': _bid_value_dataset = { "key": {"bidid": bidid}, "table": "i2.bid_value", "value": {"lvcnt": bid_value_dataset['lvcnt']}, "type": "updateonly", "orderby": "", "del_col": [], } print("i2.bid_value lvcnt :", bid_value_dataset['lvcnt']) trigger_flag = 'Y' self.dbconn_BI.Upsert_table(_bid_value_dataset, "EXEC") ck_bid_key_MOD = self.extract_diff(_diff["MOD"], "bid_key", "NEW") #bid_key _diff_bid_key_MOD = _diff["ADD"] if len(ck_bid_key_MOD) == 0 else _diff["MOD"] # 첫입력일경우 _diff["ADD"] 데이터을 입력 bid_key_dataset = self.extract_diff(_diff_bid_key_MOD, "bid_key", "NEW") # _diff 에서 해당 테이블 데이터만 추출 if len(bid_key_dataset) > 0: #기초금액 변경시 if "basic" in bid_key_dataset and bid_key_dataset['basic'] is not None: bid_key_query = "SELECT * FROM bid_key WHERE bidid = '{bidid}' ORDER BY writedt LIMIT 1".format(bidid=bidid) bid_key_row = self.dbconn_BI.sql_exec(bid_key_query, "DS")[0] if self.blank_none_zero_To_0(bid_key_row["basic"]) == 0: #입력된 기초금액이 없을때 if bid_key_row["opt"] is not None: prev_opt_arr = self.conv_bin(bid_key_row["opt"]) else: prev_opt_arr = [] prev_opt_arr.append(9) mod_opt = self.pow_sum(list(set(prev_opt_arr))) _bid_key_dataset = { "key": {"bidid": bidid}, "table": "i2.bid_key", "value": {"basic": bid_key_dataset['basic'], "opt": mod_opt}, "type": "updateonly", "orderby": "", "del_col": [], } print("i2.bid_key basic :", bid_key_dataset['basic']) self.dbconn_BI.Upsert_table(_bid_key_dataset, "EXEC") else: if bid_key_dataset['basic'] is not None and bid_key_dataset['basic'] != '' and int(bid_key_row["basic"]) != int(bid_key_dataset['basic']): code_pattern = [ {"pattern": {"P1": "con", }, "value": "0031"}, {"pattern": {"P1": "ser", }, "value": "0032"}, {"pattern": {"P1": "pur", }, "value": "0033"}, ] notify_code=self.mapping_pattern_value(code_pattern, syscollect['bidtype'], '') #기초금액이 입력되있는데, 변경된경우 _notify_dataset = { "key": {"bidid": bidid, "code": notify_code}, "table": "i2.bid_notify", "value": { "case": "Notify", "code": notify_code, "bidid": bidid, "note": str(bid_key_row["basic"]) + "|" + str(bid_key_dataset['basic']), "confirm": "N", "uptime": "NOW()", }, "type": "update", "orderby": "", "del_col": [], } print("i2.notify basic :", bid_key_dataset['basic']) #잠ㅅㅣ빼놈 self.dbconn_BI.Upsert_table(_notify_dataset, "EXEC") ck_premium_MOD = self.extract_diff(_diff["MOD"], "premiumList", "NEW") #premiumList _diff_premium_MOD = _diff["ADD"] if len(ck_premium_MOD) == 0 else _diff["MOD"] # 첫입력일경우 _diff["ADD"] 데이터을 입력 premium_dataset = self.extract_diff(_diff_premium_MOD, "premiumList", "NEW") # _diff 에서 해당 테이블 데이터만 추출 if len(premium_dataset) > 0: #A값 변경시 print("여기") print(premium_dataset) if "cost1" in premium_dataset and premium_dataset['cost1'] is not None and premium_dataset['cost1'] != '' or \ "cost2" in premium_dataset and premium_dataset['cost2'] is not None and premium_dataset['cost2'] != '' or \ "cost3" in premium_dataset and premium_dataset['cost3'] is not None and premium_dataset['cost3'] != '' or \ "cost4" in premium_dataset and premium_dataset['cost4'] is not None and premium_dataset['cost4'] != '' or \ "cost5" in premium_dataset and premium_dataset['cost5'] is not None and premium_dataset['cost5'] != '' or \ "cost6" in premium_dataset and premium_dataset['cost6'] is not None and premium_dataset['cost6'] != '' or \ "cost7" in premium_dataset and premium_dataset['cost7'] is not None and premium_dataset['cost7'] != '' or \ "cost8" in premium_dataset and premium_dataset['cost8'] is not None and premium_dataset['cost8'] != '' or \ "cost_total" in premium_dataset and premium_dataset['cost_total'] is not None and premium_dataset['cost_total'] != '' or \ "direct_labor_cost" in premium_dataset and premium_dataset['direct_labor_cost'] is not None and premium_dataset['direct_labor_cost'] != '': trigger_flag = 'Y' premium_dataset['bidid'] = bidid premium_dataset['writedt'] = "NOW()" g2b_premium_total_cost_query = "SELECT `cost_total` FROM `premiumList` WHERE bidid = '{bidid}' limit 1".format(bidid=bidid) # 기존 입력된 데이터 가져오기 g2b_before_premium_total_cost = self.dbconn_BI.sql_exec(g2b_premium_total_cost_query, "S_one") _diff_premium_dataset = { "key": {"bidid": bidid}, "table": "i2.premiumList", "value": premium_dataset, "type": "update", "orderby": "", "del_col": ['writedt'], } print("i2.premiumList :", premium_dataset) self.dbconn_BI.Upsert_table(_diff_premium_dataset, "EXEC") #총값이 있을경우에만 Y로 업데이트 if syscollect["bidtype"] in ["con"] and premium_dataset['cost_total'] is not None and premium_dataset['cost_total'] != '': _diff_state_a_dataset = { "key": {"bidid": bidid}, "table": "i2.bid_key", "value": {"state_a": "Y"}, "type": "updateonly", "orderby": "", "del_col": [], } print("i2.bid_key state_a : Y") self.dbconn_BI.Upsert_table(_diff_state_a_dataset, "EXEC") g2b_after_premium_total_cost = self.dbconn_BI.sql_exec(g2b_premium_total_cost_query, "S_one") # 3. G2B A값(premiumList) 변경시 공지사항 등록 # 비포, 애프터값이 있고 서로 다르면 공지 Etl.change_cost_notice_memo(self, g2b_before_premium_total_cost, g2b_after_premium_total_cost, bidid, "cost_a", whereis) ck_const_cost_MOD = self.extract_diff(_diff["MOD"], "bid_const_cost_list", "NEW") # bid_const_cost_list _diff_const_cost_MOD = _diff["ADD"] if len(ck_const_cost_MOD) == 0 else _diff["MOD"] # 첫입력일경우 _diff["ADD"] 데이터을 입력 const_cost_dataset = self.extract_diff(_diff_const_cost_MOD, "bid_const_cost_list", "NEW") # _diff 에서 해당 테이블 데이터만 추출 if len(const_cost_dataset) > 0: # 순공사원가 변경시 trigger_flag = 'Y' bid_key_query = "SELECT * FROM bid_key WHERE bidid = '{bidid}' ORDER BY writedt LIMIT 1".format(bidid=bidid) bid_key_row = self.dbconn_BI.sql_exec(bid_key_query, "DS")[0] g2b_const_cost_query = "SELECT const_cost FROM bid_const_cost_list WHERE bidid ='{bidid}' LIMIT 1".format(bidid=bidid) g2b_before_const_cost = self.dbconn_BI.sql_exec(g2b_const_cost_query, "S_one") self.confirm_const_cost_list_new(bid_key_row, syscollect['bidproc'], const_cost_dataset, bidid) g2b_after_const_cost = self.dbconn_BI.sql_exec(g2b_const_cost_query, "S_one") # 4. G2B 순공사원가(bid_const_cost_list) 변경시 공지사항 등록 # 비포, 애프터값이 있고 서로 다르면 공지 Etl.change_cost_notice_memo(self, g2b_before_const_cost, g2b_after_const_cost, bidid, "const_cost", whereis) ck_bid_notice_memo_MOD = self.extract_diff(_diff["MOD"], "bid_notice_memo", "NEW") # bid_notice_memo _diff_bid_notice_memo_MOD = _diff["ADD"] if len(ck_bid_notice_memo_MOD) == 0 else _diff["MOD"] # 첫입력일경우 _diff["ADD"] 데이터을 입력 bid_notice_memo_dataset = self.extract_diff(_diff_bid_notice_memo_MOD, "bid_notice_memo", "NEW") # _diff 에서 해당 테이블 데이터만 추출 if len(bid_notice_memo_dataset) > 0: # 공지사항이 수집된 경우에만 실행한다. trigger_flag = 'Y' bid_notice_memo_dataset['bidid']=bidid dataset = { "key": {"bidid": bidid}, "table": "i2.bid_notice_memo", "value": bid_notice_memo_dataset, "type": "update", "orderby": "", "del_col": ["writedt"], } print("i2.bid_notice_memo :", dataset) self.dbconn_BI.Upsert_table(dataset, "EXEC") # ====================================================== # 추후에 통합하여 트리거로 대체후 제거해야함. # ===================================================== if trigger_flag == 'Y': if syscollect["bidtype"] in ["pur"]: self.trigger_insert(bidid, "log_bid_trigger_pur") else: self.trigger_insert(bidid, "log_bid_trigger_y") # ====================================================== # 추후에 통합하여 트리거로 대체후 제거해야함. # ====================================================== # ============================================================================================================= # 조달청 낙찰공지사항 업데이트 if syscollect["dcode"] in ["G2B_R"]: print("=================>조달청 낙찰공지사항 업데이트 start") print("_diff :", _diff) if "bidtype" in syscollect: ck_MOD = self.extract_diff(_diff["MOD"], "modify_nbbs", "NEW")# 이미 입력되어 있는 경우 수정사항이 있는지 확인. => 입력되지 않은 경우 {} 값을 리턴, _diff_modify_nbbs = _diff["ADD"] if len(ck_MOD) == 0 else _diff["MOD"]# 첫입력일경우 _diff["ADD"] 데이터을 입력 modify_nbbs_dataset = self.extract_diff(_diff_modify_nbbs, "modify_nbbs", "NEW")# _diff 에서 해당 테이블 데이터만 추출 print("modify_nbbs_dataset :", modify_nbbs_dataset) # if len(new["modify_nbbs"]) > 4:#공지사항이 수집된 경우에만 실행한다. if len(modify_nbbs_dataset) > 0: # 공지사항이 수집된 경우에만 실행한다. dataset = { "key": {"bidid": bidid}, "table": "i2.modify_nbbs", "value": modify_nbbs_dataset, "type": "update", "orderby": "", "del_col": ["writedt"], } print("i2.modify_nbbs :", dataset) self.dbconn_BI.Upsert_table(dataset, "TEST") # self.dbconn_BI.Upsert_table(dataset, "EXEC") # ====================================================== # 추후에 통합하여 트리거로 대체후 제거해야함. # ====================================================== # if syscollect["bidtype"] in ["pur"]: # self.trigger_insert(bidid, "log_bid_trigger_pur") # else: # self.trigger_insert(bidid, "log_bid_trigger_y") # ====================================================== # 추후에 통합하여 트리거로 대체후 제거해야함. # ====================================================== #============================================================================================================= #참가자격서류 변경 확인 allow_bidcomment if whereis in allow_bidcomment: #whereis 값이 리스트에 허용된 발주처만 적용 if "bid_content|bidcomment" in _diff["MOD"]:# 변경된 값에 기초금액이 있는지 확인 bidcomment = _diff["MOD"]["bid_content|bidcomment"]["NEW"].strip() # 새로 수집된 bidcomment query = "SELECT `bidcomment`,`bidid` FROM bid_content WHERE bidid = '{bidid}' limit 1".format(bidid=bidid) row = self.dbconn_BI.sql_exec(query, "DS") if bidcomment != '': if len(row) > 0: if row[0]["bidcomment"] is None or row[0]["bidcomment"].strip() == '' or row[0]["bidcomment"].strip() == '* 공고 원문을 참조하시기 바랍니다. *' : #기존 입력된 bidcomment가 없을떄 _data = {} _data["bidid"] = bidid _data["whereis"] = whereis _data["syscode"] = syscollect['dcode'] _data["notinum"] = syscollect['dkey'] if syscollect['dkey_ext']: _data["notinum_ex"] = syscollect['dkey_ext'] _data["tableName"] = 'bid_content' _data["fieldName"] = 'bidcomment' _data["state"] = 'N' _data["writedt"] = "NOW()" #self.dbconn_BI.Insert_table(_data, 'modification_request_list') print("===========================================================================") print("=====================change_detect_DB===>end===============================") ####################################################################### ########################순공사 원가 ##################################### ####################################################################### # 낙찰제외금액 분류함수 def confirm_const_cost_list_new(self, bid_key_arr, proc, const_cost_arr, bidid): print("여안탐?") iu_log_query = "" if proc == 'S' or proc == 'F': self.upsert_const_cost_nbid(const_cost_arr, bidid) else: print("입찰") presum = 0 if 'presum' in bid_key_arr and 'basic' in bid_key_arr: if bid_key_arr['presum'] is not None and bid_key_arr['presum'] != '': presum = bid_key_arr['presum'] if (bid_key_arr['presum'] is None or bid_key_arr['presum'] == '') and ( bid_key_arr['basic'] is not None and bid_key_arr['basic'] != ''): try: int_basic = int(bid_key_arr['basic']) except Exception as e: int_basic = 0 presum = int_basic * 0.9 if int(presum) <= 10000000000: self.upsert_const_cost_bid(bid_key_arr, const_cost_arr, bidid) def upsert_const_cost_bid(self, bid_key_arr, const_cost_arr, bidid): print("입찰 순공사 입력") if "material" not in const_cost_arr: const_cost_arr['material'] = None if "labor" not in const_cost_arr: const_cost_arr['labor'] = None if "expense" not in const_cost_arr: const_cost_arr['expense'] = None if "tax" not in const_cost_arr: const_cost_arr['tax'] = None if "const_cost" not in const_cost_arr: const_cost_arr['const_cost'] = None # 국방부 # 소스단쪽에서 따로 처리됨 """ if bid_key_arr['whereis'] == '10': material = 0 labor = 0 expense = 0 tax = 0 if const_cost_arr['material'] is not None: material = const_cost_arr['material'] if const_cost_arr['labor'] is not None: labor = const_cost_arr['labor'] if const_cost_arr['expense'] is not None: expense = const_cost_arr['expense'] if const_cost_arr['tax'] is not None: tax = const_cost_arr['tax'] self_const_cost = material + labor + expense + tax if self_const_cost != 0: const_cost_arr['const_cost'] = material + labor + expense + tax """ if const_cost_arr['material'] is not None or const_cost_arr['labor'] is not None or \ const_cost_arr['expense'] is not None or const_cost_arr['tax'] is not None or \ const_cost_arr['const_cost'] is not None: updsert_data = { "key": {"bidid": bidid}, "table": "bid_const_cost_list", "type": "update", "value": {"bidid": bidid, "material": const_cost_arr['material'], "labor": const_cost_arr['labor'], "expense": const_cost_arr['expense'], "tax": const_cost_arr['tax'], "const_cost": const_cost_arr['const_cost'], "writedt": "NOW()", "updatedt": "NOW()"}, "del_col": ["updatedt", "writedt", "updatedt_nbid"] } self.dbconn_BI.Upsert_table(updsert_data) def upsert_const_cost_nbid(self, const_cost_arr, bidid): if "const_cost_nbid" in const_cost_arr: if const_cost_arr['const_cost_nbid'] is not None and const_cost_arr['const_cost_nbid'] != '': updsert_data = { "key": {"bidid": bidid}, "table": "bid_const_cost_list", "type": "update", "value": {"bidid": bidid, "const_cost_nbid": const_cost_arr['const_cost_nbid'], "updatedt_nbid": "NOW()"}, "del_col": ["updatedt", "writedt", "updatedt_nbid"] } self.dbconn_BI.Upsert_table(updsert_data) print("@") # diff 딕셔너리에서 특정 테이블 정보만 추출하여 테이블컬럼을 키로 가지는 딕셔너리 반환 # _type 는 NEW, OLD 를 구분 def extract_diff(self, _diff, _table, _type="NEW"): RTN = {} # print("extract_diff _diff :", _diff) for key, val in _diff.items(): tmp = key.split("|") if tmp[0] == _table: RTN[tmp[1]] = val[_type] return RTN def trigger_insert(self, bidid, tablenm): qry = "INSERT INTO {tablenm} SET `bidid`='{bidid}', `uptime`=NOW()".format(bidid=bidid, tablenm=tablenm) self.dbconn_BI.sql_exec(qry, "I") def change_detect(self, old, new, syscollect): # old : 이전수집데이터(json str), new : 새수집데이터(json str), syscollect(dic) try: # ============================================== # 데이터 체크 및 업데이트 # ============================================== # 52 -> 기존 제외조건, 07 -> dkey_ext 에 텍스트가 들어가고 있어서 제외시킴 pass_whereis= ["52", "07", "05", "53", "03"] err_diff_flag = 'Y' if syscollect["dcode"] in ["G2B_R"]: logging.info("pass - 나라장터 낙찰건 - G2B_R")#나라장터 낙찰건은 일단빼논다. 나중에 일괄작업하여 입낙찰구분필요 elif syscollect["dcode"] in ["ERC"]: logging.info("pass - 나라장터 낙찰건 - ERC")#나라장터 낙찰건은 일단빼논다. 나중에 일괄작업하여 입낙찰구분필요 elif syscollect["dcode"] in ["ERS"]: logging.info("pass - 나라장터 낙찰건 - ERS")#나라장터 낙찰건은 일단빼논다. 나중에 일괄작업하여 입낙찰구분필요 elif syscollect["dcode"] in ["ERI"]: logging.info("pass - 나라장터 낙찰건 - ERI")#나라장터 낙찰건은 일단빼논다. 나중에 일괄작업하여 입낙찰구분필요 else: # 국방부데이터 데이터가 잘못 들어가는 현상이 있어 예외처리, 하면서 타 발주처도 같이 처리 # 오류있을때 로그에 쌓아준다. new_data = new if type(new) == dict else json.loads(new, strict=False) old_data = old if type(old) == dict else json.loads(old, strict=False) if new_data['bid_key']['whereis'] in pass_whereis: # print("pass52") pass else: if new_data['bid_key']['notinum_ex'] is None: new_data['bid_key']['notinum_ex'] = '' if old_data['bid_key']['notinum'] != new_data['bid_key']['notinum']: err_diff_flag = 'N' # print("잘못된 데이터") if syscollect["dkey_ext"] is not None and syscollect["dkey_ext"] != '': if old_data['bid_key']['notinum_ex'] != new_data['bid_key']['notinum_ex']: err_diff_flag = 'N' # print("잘못된 데이터2") if err_diff_flag == 'Y': # 국방부는 공고번호에 조달청공고번호까지 넣어준다. bcc_dkey = str(syscollect["dkey"]) + "|" + str(syscollect["dkey_ext"]) if syscollect["dcode"] == "D2B_B" else syscollect["dkey"] #bcc_dkey = syscollect["dkey"] #복수공고 공고번호 만들어주기 if syscollect["dcode"] == "G2B_B" and syscollect["dkey_ext"] is not None and syscollect["dkey_ext"] != "": bcc_dkey = str(syscollect["dkey"]) + "|" + str(syscollect["dkey_ext"]) query = "SELECT * FROM bid_change_check WHERE notinum = '{notinum}' AND syscode = '{syscode}' limit 1".format(notinum=bcc_dkey, syscode=syscollect["dcode"]) row = self.dbconn_BI.sql_exec(query, "DS") _diff = self.diff_array(old, new) RTN = _diff if len(row) > 0: # 비교 제외 데이터 삭제 try: #예외처리(불필요한 컬럼제외)함수 만들면 여기다 적용한다. 김영주 #국방부 if new_data['bid_key']['whereis'] == '10': if "bid_key|constnm" in _diff['MOD']: del _diff['MOD']['bid_key|constnm'] #공고명이 바뀜 del _diff['MOD']['bid_key|writedt'] except Exception as e: print("change_detect : ", e) # 변경분이 있는경우 if len(_diff['ADD'])+len(_diff['MOD'])+len(_diff['REMOVE']) > 0: print("변경분이 있는경우") print(row[0]) _diff_str = json.dumps(_diff, ensure_ascii=False, default=self.json_default, sort_keys=True) # dic to str update_data = {} update_data['prevdt'] = row[0]["updatedt"] update_data['updatedt'] = 'NOW()' update_data['state'] = 'Y' update_data['diff'] = _diff_str self.dbconn_BI.Update_table(update_data, {'seq': row[0]["seq"]}, 'bid_change_check') bcs_cnt_select_query = "SELECT count(*) as cnt FROM bid_change_source WHERE notinum = '{notinum}' AND syscode = '{syscode}' limit 1".format(notinum=bcc_dkey, syscode=syscollect["dcode"]) bcs_cnt_select = self.dbconn_BI.sql_exec(bcs_cnt_select_query, "DS") # 데이터가 오류가 있는듯, 계속 쌓이는 공고들로인해 조건 걸어둠, 같은공고번호로 3건이상은 안쌓이도록 if bcs_cnt_select[0]["cnt"] < 4: bcs_data = {} bcs_data['notinum'] = bcc_dkey bcs_data['syscode'] = syscollect["dcode"] bcs_data['content'] = new bcs_data['writedt'] = 'NOW()' self.dbconn_BI.Insert_table(bcs_data, 'bid_change_source') #================================================================================================================== # 변경처리 => A값, 순공사원가, 기초금액 비어 있는경우 자동입력 # ================================================================================================================== self.change_detect_DB(_diff, syscollect, new) # ================================================================================================================== # 변경내용 자동수정 (설정한 데이터 변경시 자동으로 공고 수정) # ================================================================================================================== self.change_detect_DB_etc(_diff, syscollect) msg ="[{dcode}] notinum : {notinum}, _diff : {_diff}".format(dcode=syscollect["dcode"], notinum=syscollect["dkey"], _diff=_diff_str.replace("&","_")) #발주처별 팀룸 (2023.10.27 사용하지 않는것으로 판단되어 우선 주석) #self.Util.send_msg(msg, syscollect["dcode"]) #전체 로그 팀룸 (2023.10.27 사용하지 않는것으로 판단되어 우선 주석) #self.Util.send_msg(msg) # ================================================================================================================== else: print("전과 동일") #첫 수집일 경우 else: print("첫 수집일 경우") insert_data = {} insert_data['notinum'] = bcc_dkey insert_data['syscode'] = syscollect["dcode"] insert_data['prevdt'] = 'NOW()' insert_data['updatedt'] = 'NOW()' insert_data['writedt'] = 'NOW()' insert_data['state'] = 'N' self.dbconn_BI.Insert_table(insert_data, 'bid_change_check') bcs_data = {} bcs_data['notinum'] = bcc_dkey bcs_data['syscode'] = syscollect["dcode"] bcs_data['content'] = new bcs_data['writedt'] = 'NOW()' self.dbconn_BI.Insert_table(bcs_data, 'bid_change_source') else: #공고번호 및 공고번호_ex 가 매칭이 안된경우 if syscollect['dkey_ext'] is None or syscollect['dkey_ext'] == '': syscollect['dkey_ext'] = '' _err_diff_data_dataset = { "key": {"whereis": new_data['bid_key']['whereis'], "dkey": syscollect['dkey'], "dkey_ext": syscollect['dkey_ext'], "notinum": new_data['bid_key']['notinum'], "notinum_ex": new_data['bid_key']['notinum_ex'], }, "table": "err_diff_data", "value": {"whereis": new_data['bid_key']['whereis'], "dkey": syscollect['dkey'], "dkey_ext": syscollect['dkey_ext'], "notinum": new_data['bid_key']['notinum'], "notinum_ex":new_data['bid_key']['notinum_ex'], #"crawl_data_view_old": syscollect['crawl_data_view'], #"crawl_data_view_old": new_data, "writedt": "NOW()", }, "type": "insertonly", "orderby": "", "del_col": [], } self.dbconn_BI.Upsert_table(_err_diff_data_dataset, "EXEC") RTN = {} except Exception as ex: RTN = {} print("change_detect Exception : ", ex) change_detect_error = {} change_detect_error['notinum'] = syscollect['dkey'] change_detect_error['notinum_ex'] = syscollect['dkey_ext'] change_detect_error['whereis'] = syscollect['whereis'] change_detect_error['err_code'] = ex change_detect_error['writedt'] = 'NOW()' self.dbconn_BI.Insert_table(change_detect_error, 'change_detect_error') return RTN def change_detect_DB_etc(self, _diff, syscollect): print("[change_detect_DB_etc] 들어옴") diff_arr = { # 91전자통신연구원 패턴 '91' : { 'bid_content|bidcomment': { 'tableName': 'bid_content', 'fieldName': 'bidcomment', 'action': "update", #update : 데이터 업데이트, modify : 정정데이터 쌓기 'field_empty' : 'N', #저장데이터 빈값 허용 여부 Y: 빈값체크x N: 빈값체크 'exlusion_pattern': [ #제외조건 데이터가 해당값일 경우엔 무시하고 저장 '^\* 공고 원문을 참조하시기 바랍니다. \*$', '^$', ], }, 'bid_key|constnm': { 'tableName': 'bid_key', 'fieldName': 'constnm', 'action': "modify", # update : 데이터 업데이트, modify : 정정데이터 쌓기 'field_empty': 'N', # 저장데이터 빈값 허용 여부 Y: 빈값체크x N: 빈값체크 'exlusion_pattern': [ # 제외조건 ], }, }, #08 도로공사 패턴 '08': { 'bid_key|constnm': { 'tableName': 'bid_key', 'fieldName': 'constnm', 'action': "modify", # update : 데이터 업데이트, modify : 정정데이터 쌓기 'field_empty': 'N', # 저장데이터 빈값 허용 여부 Y: 빈값체크x N: 빈값체크 'exlusion_pattern': [ # 제외조건 ], }, }, } whereis = syscollect['whereis'] bidid = syscollect["bidid"] if whereis in diff_arr: for key, value in enumerate(diff_arr[whereis]): if value in _diff["MOD"]: # 변경된 값에 키데이터가 있을때 updtate_data = _diff["MOD"][value]["NEW"].strip() if diff_arr[whereis][value]['field_empty'] == 'Y' or updtate_data != '': insert_yn = 'N' #저장은 기본적으로 하지 않는다. #제외조건이 있을경우 if len(diff_arr[whereis][value]['exlusion_pattern']) > 0: query = "SELECT {fieldName}, bidid FROM {tableName} WHERE bidid='{bidid}' limit 1 ".format(fieldName=diff_arr[whereis][value]['fieldName'], tableName=diff_arr[whereis][value]['tableName'], bidid=bidid) row = self.dbconn_BI.sql_exec(query, "DS") print(diff_arr[whereis][value]['exlusion_pattern']) #db데이터 확인 if len(row) > 0: # 저장된 데이터값 없으면 패스 for value2 in diff_arr[whereis][value]['exlusion_pattern']: field_tmp = row[0]["{fieldName}".format(fieldName=diff_arr[whereis][value]['fieldName'])] print("테이블값 : "+field_tmp) field_tmp = '' if field_tmp is None else field_tmp # table None 일때 공백처리 print("조건값 : "+value2) if len(re.findall(value2, field_tmp)) > 0: #기존데이터가 exlusion_pattern에 걸리는 패턴일경우 저장하지 않는다. print("저장") #테이블 데이터와 저장데이터 조건이 맞는경우 저장한다. insert_yn = 'Y' else: #제외조건이 없을경우 저장 insert_yn = 'Y' if insert_yn == 'Y': if diff_arr[whereis][value]['action'] == 'update': self.insert_modification_request_list(syscollect, diff_arr[whereis][value]['tableName'], diff_arr[whereis][value]['fieldName']) elif diff_arr[whereis][value]['action'] == 'modify': self.self_mod_module(syscollect, updtate_data) print("[change_detect_DB_etc] 나감") def insert_modification_request_list(self, data, tableName, fieldName): print("[insert_modification_request_list] 들어옴") _data = {} _data["bidid"] = data['bidid'] _data["whereis"] = data['whereis'] _data["syscode"] = data['dcode'] _data["notinum"] = data['dkey'] if data['dkey_ext']: _data["notinum_ex"] = data['dkey_ext'] else: _data["notinum_ex"] = '' _data["tableName"] = tableName _data["fieldName"] = fieldName _data["state"] = 'N' _data["writedt"] = "NOW()" self.dbconn_BI.Insert_table(_data, 'modification_request_list') def self_mod_module(self, syscollect,updtate_data): self.mod_table_insert(syscollect, updtate_data) self.mod_syscollect_insert(syscollect, updtate_data) def mod_table_insert(self, syscollect,updtate_data): # 김영주 whereis = syscollect['whereis'] dcode = syscollect["dcode"] notinum = syscollect["dkey"] notinum_ex = syscollect["dkey_ext"] if syscollect["dkey_ext"] is not None else None notinum_ex_q='' if notinum_ex is not None: notinum_ex_q="and dkey_ext='{dkey_ext}'".format(dkey_ext=notinum_ex) # mod_data_table 쌓기 tmp_sql = "SELECT * FROM mod_data_table WHERE dcode='{dcode}' and dkey='{dkey}' {notinum_ex_q} and mod_data='{mod_data}' and whereis='{whereis}' order by uptime desc limit 1" \ .format(dcode=dcode, dkey=notinum, mod_data=updtate_data, whereis=whereis, notinum_ex_q=notinum_ex_q) tmp_row = self.dbconn_BI.sql_exec(tmp_sql, "DS") if len(tmp_row) > 0: print("pass") else: # sys_collect 정보가져오기 sys_sql = "SELECT stats,rebid_no,seq FROM sys_collect WHERE dcode='{dcode}' and dkey='{dkey}' order by uptime desc limit 1".format( dcode=dcode, dkey=notinum) sys_row = self.dbconn_BI.sql_exec(sys_sql, "DS") # 기본 정정차수는 1 mod_chasu = 1 if len(tmp_row) > 0: # 이전 정정차수가 mod_data_table에 있을경우 정정차수를 업데이트 해준다 mod_chasu = int(tmp_row[0]['mod_chasu']) + 1 insert_data_arr = {} insert_data_arr['dkey'] = notinum insert_data_arr['dkey_ext'] = notinum_ex insert_data_arr['dcode'] = dcode insert_data_arr['stats'] = sys_row[0]['stats'] insert_data_arr['rebid_no'] = sys_row[0]['rebid_no'] insert_data_arr['mod_chasu'] = mod_chasu insert_data_arr['mod_text'] = updtate_data #insert_data_arr['prevcode'] = row['prevcode'] --사용x #insert_data_arr['updatecode'] = row['updatecode'] --사용x insert_data_arr['whereis'] = whereis self.dbconn_BI.Insert_table(insert_data_arr, "mod_data_table") update_data_arr = {} update_data_arr['state'] = 'D' update_data_arr['updatedt'] = "NOW()" self.dbconn_BI.Update_table(update_data_arr, {'seq': tmp_row['seq']}, 'bid_change_check') def mod_syscollect_insert(self, syscollect, updtate_data): whereis = syscollect['whereis'] dcode = syscollect["dcode"] notinum = syscollect["dkey"] notinum_ex = syscollect["dkey_ext"] if syscollect["dkey_ext"] is not None else None notinum_ex_q = '' if notinum_ex is not None: notinum_ex_q = 'and dkey_ext={dkey_ext}'.format(dkey_ext=notinum_ex) mod_sql = "SELECT * FROM mod_data_table WHERE dcode='{dcode}' and dkey='{dkey}' {notinum_ex_q} and mod_data='{mod_data}' whereis='{whereis}' and state ='N' "\ .format(dcode=dcode, dkey=notinum, mod_data=updtate_data, whereis=whereis, notinum_ex_q=notinum_ex_q) mod_row = self.dbconn_BI.sql_exec(mod_sql, "DS") if len(mod_row) > 0: sys_sql = "SELECT * FROM sys_collect WHERE dcode='{dcode}' and dkey='{dkey}' and stats='{stats}' and rebid_no ='{rebid_no}' order by uptime desc limit 1" \ .format(dcode=mod_row['dcode'], dkey=mod_row['dkey'], stats=mod_row['stats'], rebid_no=mod_row['rebid_no']) sys_res = self.dbconn_BI.sql_exec(sys_sql, "DS") insert_arr = {} insert_arr['dkey'] = mod_row['dkey'] insert_arr['dkey_ext'] = mod_row['dkey_ext'] insert_arr['dcode'] = mod_row['dcode'] insert_arr['stats'] = "자체정정" + mod_row['mod_chasu'] + "차" insert_arr['rebid_no'] = mod_row['rebid_no'] insert_arr['link'] = sys_res[0]['link'] insert_arr['ext_info1'] = sys_res[0]['ext_info1'] insert_arr['ext_info2'] = sys_res[0]['ext_info2'] insert_arr['proc'] = 'new' if dcode == 'KNOCBA': insert_arr['link_post'] = sys_res[0]['link_post'] self.dbconn_BI.Insert_table(insert_arr, "sys_collect") update_data_arr = {} update_data_arr['state'] = 'I' update_data_arr['updatedt'] = "NOW()" self.dbconn_BI.Update_table(update_data_arr, {'seq': mod_row['seq']}, 'bid_change_check') # ============================================================ # "CREATE TABLE `modification_request_list` ( # `seq` int(6) NOT NULL AUTO_INCREMENT, # `bidid` char(24) NOT NULL COMMENT '입찰번호(일련번호-차수-재입찰번호-분류번호)', # `whereis` char(2) DEFAULT NULL COMMENT '공고게시기관코드', # `syscode` char(12) DEFAULT NULL COMMENT '수집시스템코드', # `notinum` char(32) NOT NULL COMMENT '공고번호', # `notinum_ex` char(32) NOT NULL, # `tableName` varchar(30) NOT NULL COMMENT '테이블이름', # `fieldName` varchar(30) NOT NULL COMMENT '컬럼이름', # `writedt` datetime DEFAULT NULL COMMENT '요청등록일', # `updatedt` datetime DEFAULT NULL COMMENT '처리시간', # `state` char(1) DEFAULT NULL COMMENT '처리유무', # PRIMARY KEY (`seq`) # ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=euckr COMMENT='특정 데이터 업데이트 요청 리스트'" \ # 입력페이지에서 해당 테이블에 업데이트할 정보를 쌓는다. # 테이블이름과, 컬럼이름을 매칭해서 데이터를 업데이트 한다. # ============================================================ def modification_request_list(self, new, syscollect): print("[modification_request_list] start") tableName = syscollect["tableName"] fieldName = syscollect["fieldName"] seq = syscollect["modification_seq"] bidid = syscollect["bidid"] new_parser = new if type(new) == dict else json.loads(new, strict=False) self.dbconn_BI.Update_table({fieldName: new_parser[tableName][fieldName]}, {'bidid': bidid}, tableName) self.dbconn_BI.Update_table({'state': 'Y', 'updatedt': 'NOW()'}, {'seq': seq}, 'modification_request_list') print("[modification_request_list] end") def blank_None(self, _str): if _str == "": return None else: return _str def clean_page_source(self, _html): pattern = [ ["\r",""], ["\t",""], ["\n",""], ["\"", ""], ["\u25e6", ""], ["\xa9", ""], ["\xa0", ""], ["\uf0e8", ""], ["\uff62", ""], ["\uff63", ""], ["\ufeff", ""], ["\u200b", ""], ["\u2013", ""], ["\u2024", ""], ["\u2027",""], ["\u2219", ""], ["\u25ef", ""], ["\u274d", ""], ["\u2782", ""], ["\u2981", ""], ["\u3007", ""], ["\uff63", ""], ["\u25fc", ""], ["\u2003", ""], ["\u231c", ""], ["\u0223", ""], ["\u2023", ""], ["\u0228", ""], ["\u2011", ""], ["\u0387", ""], ["\u2781", ""], ["\U000f02ea", ""], ["\u0278", ""], ["\u2022", ""], ["\u22c5",""], ["\u022f", ""], ["\u24fd", ""], ["\u302e", ""], ["\u0368", ""], ["\u301c", "~"], ["\u02d1", "~"], ["\u21e8", "->"], ["\u25a2", ""], ["\u231f", ""], ["\xb5", ""], ["\u2780", ""], ["\u119e", ""], ["\u20a9", ""], ["\u25cc", ""], ["\uf022", ""], ["\uf09e", ""], ["\u0301", ""], ["\uff65", ""], ["\u1168", ""], ["\u1163", ""], ["\u1166", ""], ["\u2215", ""], ["\u231c", ""], ["\U000f02ef", ""], ["\uf0a0", ""], ["\u2014", ""], ["\u2205", "Ø"], ["\u301a", ""], ["\u301b", ""], ["\uf028", ""], ["\u30fb", ""], ["\uf076", ""], ["\u25aa", ""], ["\u1104", ""], ["\u2776", ""], ["\u2777", ""], ["\u2613", ""], ["\u2000", ""], ["\u25b8", ""], ["\u2219", ""], ["\u2012", ""], ["\u233d", ""], ["\u8f66", ""], ["\u65f6", ""], ["\u95f4", ""], ["\u27f6", ""], ["\uf0a6", ""], ["\u21db", ""], ["\u2783", ""], ["\u2784", ""], ["\u2785", ""], ["\u2010", "-"], ["\U0001d635", ""], ["\u206d", ""], ["\u279f", ""], ["\u2d41", ""], ["\ufffd", ""], ["\u278a", ""], ["\u278b", ""], ["\u278c", ""], ["\u27f9", ""], ["\u2035", ""], ["\u02dc", ""], ["\u2053", ""], ["\u301e", ""], ] return self.Util.clean_str(_html, pattern) def enc_UTF8(self, _str, encoding='utf-8'): return urllib.parse.unquote(_str, encoding=encoding) # 기관 코드 가져오기 def getOrg(self, tblNm, orgNm, data_code_org_i, data_code_org_y, data_order_name): # order_code 테이블에서 발주처명 변환이 필요한지 확인한다. orgTmp = orgNm if orgTmp: # order_code_q = "SELECT * FROM order_name WHERE REPLACE(`before`, ' ', '') = '{orgNm}'".format(orgNm=orgNm.replace(" ", "")) order_code_row = data_order_name[data_order_name['before'].str.replace(' ', '', regex=False) == orgNm.replace(" ", "")] order_code_row = order_code_row.to_dict(orient='records') # order_code_row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, order_code_q) if order_code_row and len(order_code_row) > 0 and order_code_row[0].get('after'): orgTmp = order_code_row[0]['after'] # print("order_name 추출 O") # else: # print("order_name 추출 X") # print("orgTmp >>> ", orgTmp) if tblNm == "code_org_y": # query ="select order_code, order_name from code_org_y where replace(order_name, ' ', '') = replace('{orgNm}', ' ', '')".format(orgNm=orgTmp) query_result = data_code_org_y[data_code_org_y['order_name'].str.replace(' ', '', regex=False) == orgTmp.replace(" ", "")] query_result = query_result[['order_code', 'order_name']] elif tblNm == "code_org_i": # query = "select org_Scode as order_code, result_name as order_name from code_org_i where org_name = '{orgNm}'".format(orgNm=orgTmp) query_result = data_code_org_i[data_code_org_i['org_name'].str.replace(' ', '', regex=False) == orgTmp.replace(" ", "")] query_result = query_result[['org_Scode', 'result_name']] query_result = query_result.rename(columns={'org_Scode': 'order_code', 'result_name': 'order_name'}) try: # row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) row = query_result.to_dict(orient='records') if len(row) > 0: return row[0] else: return {"order_code": None, "order_name": orgNm} except: return {"order_code": None, "order_name": None} #code_etc 가져오기 def getCodeEtc(self, kind, data_code_etc): if data_code_etc.empty: return None # query = "select * from code_etc where kind='{kind}'".format(kind=kind) query_result = data_code_etc[data_code_etc['kind'] == kind] if kind == "succls": #제한적 최저가가 먼저 체크되도록 # query = "select * from code_etc where kind='{kind}' ORDER BY CASE WHEN `code` = '03' THEN 0 ELSE 1 END, `code`;".format(kind=kind) # 1. 'kind'로 먼저 필터링 filtered_df = data_code_etc[data_code_etc['kind'] == kind].copy() # 원본 수정을 피하기 위해 .copy() 사용 # 2. 정렬 우선순위를 위한 임시 컬럼 생성 # 'code'가 '03'이면 0, 아니면 1을 할당 filtered_df['sort_priority'] = filtered_df['code'].apply(lambda x: 0 if x == '03' else 1) # 3. 'sort_priority'로 먼저 정렬하고, 그 다음 'code'로 정렬 # 두 컬럼 모두 오름차순으로 정렬 (ascending=True가 기본값) query_result = filtered_df.sort_values(by=['sort_priority', 'code']) # 4. 임시로 사용한 'sort_priority' 컬럼 제거 query_result = query_result.drop(columns=['sort_priority']) # row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) row = query_result.to_dict(orient='records') if len(row) > 0: return row else: return None # 종목코드 가져오기 def G2BPartCode(self): query = "SELECT g2b_code, i2_code FROM code_item_match WHERE g2b_code NOT IN('1459','1460') AND i2_code IS NOT NULL" row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) if len(row) > 0: rtn = {} for v in row: rtn[v["g2b_code"]] = v["i2_code"] return rtn else: return None # 종목코드 가져오기 def KEPCOPartCode(self): query = "SELECT bi_code, k_code FROM code_kepco WHERE state ='Y' AND bi_code IS NOT NULL" row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) if len(row) > 0: rtn = {} for v in row: rtn[v["k_code"]] = v["bi_code"] return rtn else: return None # 한전 종목코드 체크 후 없는 데이터일 경우 데이터삽입 def insertKEPCOPartCode(self,k_code,k_name): query = "SELECT bi_code, k_code FROM code_kepco WHERE k_code='{k_code}' ".format(k_code=k_code) row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) result = None if len(row) <= 0 : insert_query = "INSERT INTO code_kepco SET k_code = '{k_code}', k_name = '{k_name}', state = 'N', writedt = NOW() ".format(k_code=k_code, k_name=k_name) result = self.dbconn_BI.process_sql(DB_CONN_ID, insert_query) return result # 물품분류번호로 면허찍어지는 코드 가져오기 def G2BpurCodeChange(self, data_g2b_pur_code_change): # query = "SELECT *,LENGTH(g2b_code) AS codelength FROM g2b_pur_code_change ORDER BY codelength ASC" if data_g2b_pur_code_change.empty: return None data_g2b_pur_code_change_copy = data_g2b_pur_code_change.copy() data_g2b_pur_code_change_copy['codelength'] = data_g2b_pur_code_change_copy['g2b_code'].astype(str).str.len() query_result = data_g2b_pur_code_change_copy.sort_values(by='codelength', ascending=True) row = query_result.to_dict(orient='records') # row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) if len(row) > 0: rtn = {} for v in row: rtn[v["g2b_code"]] = v["change_code"] return rtn else: return None # 물품분류번호로 면허찍어지는 코드 가져오기 def G2BpurCodeLikeChange(self, gcode, data_g2b_pur_code_change): tmpcode = gcode[0:2] # 아래 항목일땐 2자리로 검색하지 않는다. likecode = gcode if tmpcode == '39' and gcode != '3911260201' and gcode != '3911260301' and gcode != '3911260302' and gcode != '3911260303' and gcode != '3911260401' and gcode != '3913170609' and gcode != '3913170610': rtn = {} rtn["39"] = 'C007' return rtn else: # query = "SELECT *,LENGTH(g2b_code) AS codelength FROM g2b_pur_code_change WHERE g2b_code Like '{likecode}%' ORDER BY codelength ASC".format(likecode=likecode) data_g2b_pur_code_change_copy = data_g2b_pur_code_change.copy() data_g2b_pur_code_change = data_g2b_pur_code_change_copy[data_g2b_pur_code_change_copy['g2b_code'].str.contains(likecode)] if data_g2b_pur_code_change.empty: return None data_g2b_pur_code_change_copy['codelength'] = data_g2b_pur_code_change_copy['g2b_code'].astype(str).str.len() query_result = data_g2b_pur_code_change_copy.sort_values(by='codelength', ascending=True) row = query_result.to_dict(orient='records') # row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) # print(row) if len(row) > 0: rtn = {} for v in row: rtn[v["g2b_code"]] = v["change_code"] return rtn else: return None def pluscode_set(self, concode, sercode, pluscode): rt = {} g2b_code = [] prev_code = [concode, sercode] for k, v in pluscode.items(): if len(re.findall("C", v)) > 0: if concode is None: concode = v elif len(re.findall(v, concode)) < 0: concode = "{code}|{pluscode}".format(code=concode, pluscode=v) if len(re.findall("S", v)) > 0: if sercode is None: sercode = v elif len(re.findall(v, sercode)) < 0: sercode = "{code}|{pluscode}".format(code=sercode, pluscode=v) g2b_code.append(k) change_code = [concode, sercode] g2b_pur_code_change_log = {} g2b_pur_code_change_log['g2b_code'] = "|".join(list(filter(lambda x: x is not None, g2b_code))) g2b_pur_code_change_log['prev_code'] = "|".join(list(filter(lambda x: x is not None, prev_code))) g2b_pur_code_change_log['change_code'] = "|".join(list(filter(lambda x: x is not None, change_code))) rt['concode'] = concode rt['sercode'] = sercode rt['g2b_pur_code_change_log'] = g2b_pur_code_change_log return rt # def G2BNmToYERAMCode(self, nm, data_code_item_match): # # query = "SELECT g2b_code, i2_code, g2b_code_nm FROM code_item_match WHERE REPLACE(REPLACE(g2b_code_nm,'.',''),'·','') = REPLACE(REPLACE('{nm}','.',''),'·','') ".format(nm=nm) # query = "SELECT g2b_code, i2_code, g2b_code_nm FROM code_item_match WHERE REPLACE(REPLACE(REPLACE(REPLACE(REPLACE(g2b_code_nm,' ',''),'.',''),'·',''),',',''),'ㆍ', '') = REPLACE(REPLACE(REPLACE(REPLACE(REPLACE(REPLACE('{nm}',' ',''),'.',''),'·',''),',',''),'ㆍ', ''),'기계설비가스공사업','기계가스설비공사업')".format(nm=nm) # row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) # rtn = row[0] if len(row) > 0 else {"g2b_code": "", "i2_code": "", "g2b_code_nm": "", } # return rtn def G2BNmToYERAMCode(self, nm: str, data_code_item_match: pd.DataFrame): """ 입력된 이름(nm)과 DataFrame(data_code_item_match)의 'g2b_code_nm'을 동일한 방식으로 전처리한 후, 정확히 일치하는 행을 찾아 관련 정보를 반환합니다. :param nm: 비교할 이름 문자열 :param data_code_item_match: 'g2b_code_nm', 'g2b_code', 'i2_code' 컬럼을 포함하는 DataFrame :return: 일치하는 행의 정보를 담은 딕셔너리 또는 기본값 딕셔너리 """ if not isinstance(nm, str): # logging.warning(f"입력값 nm이 문자열이 아닙니다: {type(nm)}. 빈 문자열로 처리합니다.") nm = "" if not isinstance(data_code_item_match, pd.DataFrame) or data_code_item_match.empty: # logging.warning("입력 DataFrame data_code_item_match가 비어있거나 DataFrame이 아닙니다.") return {"g2b_code": "", "i2_code": "", "g2b_code_nm": ""} # 원본 DataFrame 수정을 피하기 위해 복사본 사용 data_code_item_match_copy = data_code_item_match.copy() # 전처리할 문자들 chars_to_remove = [' ', '.', '·', ',', 'ㆍ'] # 특정 문자열 치환 (SQL의 마지막 REPLACE에 해당) specific_replacements = { '기계설비가스공사업': '기계가스설비공사업' # 필요시 다른 치환 규칙 추가 } # 1. DataFrame의 'g2b_code_nm' 컬럼 전처리 if 'g2b_code_nm' not in data_code_item_match_copy.columns: logging.error("'g2b_code_nm' 컬럼이 DataFrame에 존재하지 않습니다.") return {"g2b_code": "", "i2_code": "", "g2b_code_nm": ""} # NaN 값을 빈 문자열로 처리 후 문자열로 변환 processed_g2b_code_nm_col = data_code_item_match_copy['g2b_code_nm'].fillna('').astype(str) for char in chars_to_remove: processed_g2b_code_nm_col = processed_g2b_code_nm_col.str.replace(char, '', regex=False) for old, new in specific_replacements.items(): # 특정 문자열 치환 적용 processed_g2b_code_nm_col = processed_g2b_code_nm_col.str.replace(old, new, regex=False) # 전처리된 컬럼을 DataFrame에 임시로 저장하거나, 바로 비교에 사용 # data_code_item_match_copy['processed_g2b_code_nm'] = processed_g2b_code_nm_col # 2. 입력 문자열 'nm' 전처리 (DataFrame 컬럼과 동일한 방식으로) processed_nm = str(nm) # nm이 숫자로 들어올 경우를 대비해 문자열로 변환 for char in chars_to_remove: processed_nm = processed_nm.replace(char, '') for old, new in specific_replacements.items(): # 특정 문자열 치환 적용 processed_nm = processed_nm.replace(old, new) # logging.debug(f"전처리된 g2b_code_nm 컬럼 (일부): \n{processed_g2b_code_nm_col.head()}") # logging.debug(f"전처리된 입력 nm: '{processed_nm}'") # 3. 전처리된 값들로 정확히 일치하는 행 필터링 (str.contains 대신 == 사용) # data_code_item_match_copy = data_code_item_match_copy[processed_g2b_code_nm_col == processed_nm] # 필터링된 결과를 새로운 변수에 할당하여 원본 data_code_item_match_copy의 참조 문제를 피함 filtered_df = data_code_item_match_copy[processed_g2b_code_nm_col == processed_nm] # 결과가 여러 개일 경우 첫 번째 행을 사용할지, 아니면 다른 로직이 필요한지 결정해야 합니다. # 현재 코드는 to_dict 후 첫 번째 결과를 사용합니다. # 4. 결과를 딕셔너리 리스트로 변환 rows_list = filtered_df.to_dict(orient='records') # 5. 최종 결과 반환 if rows_list: # 일치하는 행이 있는 경우 # SQL 쿼리는 g2b_code, i2_code, g2b_code_nm 컬럼만 선택했으므로, 여기서도 해당 컬럼만 추출 first_match = rows_list[0] rtn = { "g2b_code": first_match.get("g2b_code", ""), "i2_code": first_match.get("i2_code", ""), "g2b_code_nm": first_match.get("g2b_code_nm", "") # 원본 g2b_code_nm 반환 } # logging.info(f"일치하는 데이터 찾음: {rtn}") else: rtn = {"g2b_code": "", "i2_code": "", "g2b_code_nm": ""} # logging.info(f"일치하는 데이터를 찾지 못함. 입력 nm: '{nm}', 전처리된 nm: '{processed_nm}'") return rtn # g2b 종목코드 예람코드로 변환 # code 는 list 형태의 g2b 코드 ['1232','1145',...], # 리턴값은 문자열 dic {'purcode': None, 'concode': 'C011|C013', 'sercode': None} def G2BCodeToYERAMCode(self, code, data_DIC_G2BPartCode): PartCode = data_DIC_G2BPartCode YeramCode = list(filter(lambda x: x is not None, list(map(lambda x: PartCode[x] if x in PartCode else None, code)))) YeramCode = [x for x in YeramCode if x != ''] #코드별 예람 종목추가 적용[ key => g2b code, value => 추가할 예람코드(리스트)로 세팅] add_code = { "0001": ["C003"], "0002": ["C003"], "0032": ["C030"], "0033": ["C030"], "1121": ["S001", "S054"], "1139": ["S031", "S032"], "1177": ["S080", "C053"], "1189": ["S072"], "1401": ["C035", "C078"], "3562": ["S999"], "3585": ["S019"], "3589": ["S037"], "4817": ["S001"], "4949": ["C030"], "4950": ["C030"], "5220": ["S057"], "6117": ["C011", "S999"], "6311": ["S031", "S032"], "6312": ["S031", "S032"], "6313": ["S031", "S032"], "6815": ["C020", "S999"], "4989": ["C021", "C034", "C032"], #B001 #지반조성.포장공사업 [토공|포장|보링.그라우팅] "4990": ["C020"], # B002 #실내건축공사업 [실내건축] "4991": ["C027", "C028"], # B003 #금속창호.지붕건축물조립공사업 [금속창호|지풍판금,건축물] "4992": ["C024", "C022", "C023"], # B004 #도장.습식.방수.석공사업 [도장|습식.방수|석공] "4993": ["C036", "C037"], # B005 # 조경식재.시설물공사업 [조경식재|조경시설물] "4994": ["C029"], # B006 # 철근.콘크리트공사업 [철콘] "4995": ["C025"], # B007 # 구조물해체.비계공사업 [비계구조] "4996": ["C031"], # B008 # 상.하수도설비공사업 [상,하수도] "4997": ["C033"], # B009 # 철도.궤도공사업 [철도,궤도] "4998": ["C039", "C038"], # B010 # 철강구조물공사업 [철강재|강구조물] "4999": ["C035", "C041"], # B011 # 수중.준설공사업 [수중|준설] "6201": ["C042", "C040"], # B012 # 승강기,삭도공사업 [승강기|삭도] "6202": ["C030", "C045"], # B013 # 기계가스설비공사업 [기계설비|가스1종] "6203": ["C046", "C047", "C049", "C050", "C051"], # B013 # 가스난방공사업 [가스2종|가스3종|난방1종|난방2종|난방3종] '토공사': ['C021','B001' ], # ========================= 여기서부터 주력공사 붙는 경우 해당 문구에 맞는 면허 반환될 수 있게 처리. '포장공사': ['C034','B001' ], '보링·그라우팅·파일공사': ['C032', 'B001'], # '실내건축공사': ['C020', 'B002'], # '금속구조물·창호·온실공사': ['C027','B003' ], # '지붕판금·건축물조립공사': ['C028', 'B003'], # '도장공사': ['C024','B004' ], # '습식·방수공사': ['C022','B004' ], # '석공사': ['C023','B004' ], # '조경식재공사': ['C036','B005'], '조경시설물설치공사': ['C037', 'B005'], '철근·콘크리트공사': ['C029', 'B006'], # '구조물해체·비계공사': ['C025', 'B007'], # '상하수도설비공사': ['C031', 'B008'], # '철도·궤도공사': ['C033', 'B009'], '철강구조물공사' : ['C039', 'C038', 'B010'], '수중공사': ['C035', 'B011'], '준설공사': ['C041', 'B011'], '승강기설치공사': ['C042', 'B012'], '삭도설치공사': ['C040', 'B012'], '기계설비공사': ['C030', 'B013'], # '가스시설공사(제1종)': ['C045', 'B013'], '가스시설공사(제2종)': ['C046', 'B014'], '가스시설공사(제3종)': ['C047', 'B014'], '난방공사(제1종)': ['C049', 'B014'], '난방공사(제2종)': ['C050', 'B014'], '난방공사(제3종)': ['C051', 'B014'], '토공사 와 포장공사': ['C021', 'C034', 'B001'], '토공사 와 보링·그라우팅·파일공사': ['C021', 'C032', 'B001'], '포장공사 와 토공사': ['C021', 'C034', 'B001'], '포장공사 와 보링·그라우팅·파일공사': ['C034', 'C032', 'B001'], '보링·그라우팅·파일공사 와 포장공사': ['C034', 'C032', 'B001'], '보링·그라우팅·파일공사 와 토공사': ['C021', 'C032', 'B001'], } AddYeramCode = list(filter(lambda x: x is not None, list(map(lambda x: add_code[x] if x in add_code else None, code)))) if len(AddYeramCode) > 0: AddYeramCodeList = [] list(map(lambda x: list(map(lambda y: AddYeramCodeList.append(y), x)), AddYeramCode)) if len(AddYeramCodeList) > 0: YeramCode = YeramCode + AddYeramCodeList #추가 코드 병합 YeramCode = list(set(YeramCode)) #중복제거 YeramCode.sort() #정렬 dic_partcode = {} dic_partcode['concode'] = "|".join(list(filter(lambda x: x[0] == "C", YeramCode))) if len(list(filter(lambda x: x[0] == "C", YeramCode))) > 0 else None # 공사 dic_partcode['sercode'] = "|".join(list(filter(lambda x: x[0] == "S", YeramCode))) if len(list(filter(lambda x: x[0] == "S", YeramCode))) > 0 else None # 용역 dic_partcode['purcode'] = "|".join(list(filter(lambda x: x[0] == "P", YeramCode))) if len(list(filter(lambda x: x[0] == "P", YeramCode))) > 0 else None # 물품 dic_partcode['big_part'] = "|".join(list(filter(lambda x: x[0] == "B", YeramCode))) if len(list(filter(lambda x: x[0] == "B", YeramCode))) > 0 else None # 물품 return dic_partcode def dicCodeEtc(self, kind, data_code_etc): rtn = [] rows = self.getCodeEtc(kind, data_code_etc) if rows is not None: for row in rows: rtn.append({"pattern": {"P1": row["val"], }, "value": row["code"]}) # 입찰방식 추가조건, 상단엔 DB데이터를 기반으로 세팅하기때문에 따로 넣어준다 if kind == 'bidcls': rtn.append({"pattern": {"P1": '수기', }, "value": '00'}) return rtn # xpath 로 구분한 테이블 시리얼 데이터를 줄단위 key value 데이터로 변환 리턴값 [{key:value,...},{key:value,...},{key:value,...}] def change_serial_to_dic(self, _data, _keys): _len = len(_data) key_len = len(_keys) _tmp = {} RTN = [] for _idx, key in enumerate(_keys): _tmp[key] = _data[_idx:_len:key_len] for _idx, row in enumerate(_tmp[_keys[0]]): list = {} for idx, key in enumerate(_keys): list[key] = _tmp[key][_idx] RTN.append(list) return RTN # [{key:value,...},{key:value,...},{key:value,...}] 형식의 데이터중 컬럼하나만 함수적용하여 데이터 변경시 사용 def column_func(self, _list, _key, func, err_init=None): for _idx, row in enumerate(_list): try: _list[_idx][_key] = func(row[_key]) except: _list[_idx][_key] = err_init return _list def getPartCode(self, partNm): try: query = "select * from code_item where i2_name = '{partNm}' and state = 'y'".format(partNm=partNm) row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) if len(row) > 0: return row[0] else: return None except: return None def getCodeLocal(self, locationNm, data_code_local): try: location_pattern = [ {"pattern": {"P1": "당진", }, "value": "충청남도 당진시"}, {"pattern": {"P1": "포항", }, "value": "경상북도 포항시"}, ] tmp = self.mapping_pattern_value(location_pattern, locationNm, None) if tmp is not None: locationNm = tmp # query = "select * from code_local where `name` like '%{locationNm}%'".format(locationNm=locationNm) query_result = data_code_local[data_code_local['name'].str.contains(locationNm)] # row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) row = query_result.to_dict(orient='records') if len(row) > 0: return row[0] else: return None except: return None # bid_local의 코드 앞자리 2개로 해당 지역 관내 개수 카운트 def count_code_local(self, code_value): try: query = "select count(*) as cnt from code_local where code like '{code_value}%'".format(code_value=code_value) row = self.dbconn_BI.select_sql_to_dict(DB_CONN_ID, query) return row[0]['cnt'] except: return False # 도내에 해당하는 관내가 모두 찍힌 경우 bid_local에서 제외하는 함수 def filter_bid_local(self, item_bid_local): divide_bid_local_code = {} filtered_bid_local = {} new_key = 0 # bid_local의 코드 앞자리 2개를 key / 코드 뒷자리 2개를 value로 가지는 dict 세팅 for key, value in item_bid_local.items(): # 25/01/24 nil 처리 안되어 있어 추가 if value and value.get('code') and value['code'] and len(value['code']) == 4: #if value['code'] and len(value['code']) == 4: code = value['code'] local_code_key = code[:2] local_code_value = code[2:] if local_code_key in divide_bid_local_code: divide_bid_local_code[local_code_key].append(local_code_value) # 키값 있으면 value append else: divide_bid_local_code[local_code_key] = [local_code_value] # 키값 없으면 키 세팅, value는 리스트형태로 # {'46': ['20', '14', '09', '17'], '20': ['16'], '49': ['03']} << 결과 예시 else: logging.info("bid_local 코드 값 비정상@@@") # 키 값 개수만큼 반복하여 bid_local_item+1과 DB의 지역 개수가 같은지 체크 (같으면 관내체크 안함) # +1은 DB의 도내 값과 맞춰주기 위함(ex 1100, 서울특별시) for key, value in divide_bid_local_code.items(): # 관내가 여러 지역이더라도 하나라도 관내면 관내이다. if self.count_code_local(key) == len(value)+1: continue else: for local_key, local_value in item_bid_local.items(): # 25/01/24 nil 처리 안되어 있어 추가 if local_value and local_value.get('code'): if local_value['code'][:2] == key: filtered_bid_local[new_key] = local_value new_key = new_key + 1 return filtered_bid_local # json => 문자열 변환시 value를 문자열로 변환하는 함수 def json_default(self, value): return str(value) # 딕셔너리에서 키 참조시 키가 존재하지 안는경우 에러가 나기 때문에 예외처리 및 키없는경우 초기값 지정 def getValue(self, arr, key, _init=""): try: return arr[key.strip()] except: return _init # 숫자 스트링 클린징 def amt(self, _str): _str = self.Util.clean_str(_str, [[",",""],[" ",""],["원",""],["\t",""],["￦",""],]) _str = _str if _str and self.Not_None_Zero(_str) else "" return _str # 코드(정수) 리스트 => 리스트 값을 승수로 한 2의 승수 구하여 sum 값 반환 def pow_sum(self, arr): rtn = 0 for i in arr: rtn = rtn + pow(2, i) return rtn def conv_bin(self, num): tmp = reversed(str(bin(num))[2:]) rtn = [] for _idx, row in enumerate(tmp): if row == "1": rtn.append(_idx) return rtn # _str 에서 정규식 패턴 리스트에 맞는 값 매칭 def mapping_rex_to_value(self, pattern_list, _str, _init=""): rtn = _init for pattern in pattern_list: if len(re.findall(pattern[0],_str))>0 : rtn=pattern[1] return rtn # 지역 리스트 => 지역코드 리스트 변환 def loction_to_code(self, arr): local_pattern_arr = [ #["rex pattern", "value"] ["전국", 0], ["서울", 1], ["부산", 2], ["광주", 3], ["대전", 4], ["인천", 5], ["대구", 6], ["울산", 7], ["경기", 8], ["강원", 9], ["충북|충청북도", 10], ["충남|충청남도", 11], ["경북|경상북도", 12], ["경남|경상남도", 13], ["전북|전라북도", 14], ["전남|전라남도", 15], ["제주", 16], ["세종", 17], ] rtn = [] for val in arr: tmp = self.mapping_rex_to_value(local_pattern_arr, val, None) if tmp is not None: rtn.append(tmp) rtn = list(set(rtn)) if len(rtn)>0: return rtn else: return [] #raise Exception("loction_to_code : 지역값이 없습니다.") #============================================================================== ## 문서에서 패턴을 매칭하여 반환 ## 샘플 : aa = spilt_rex_doc(text, "(var\sbidRateCode\s=\s')((\d|\.){2,6})(';)", 2) ## idx 는 정규식 그룹중 추출할 인덱스 def spilt_rex_doc(self, _doc, _pattern, _idx): try: _idx_str = "" if type(_idx) == list: _idx_str = '|#==#|\\'.join(_idx) _idx_str = "\{idx}".format(idx=_idx_str) #print(_idx_str) else: _idx_str = "\{idx}".format(idx=_idx) for para in _doc.splitlines(): para_tmp = para.strip() #print("para_tmp:", para_tmp) line = re.match(_pattern, para_tmp) #print("line:", line) if line is not None: rtn = re.sub(_pattern, _idx_str, para_tmp) if type(_idx)==list: rtn = rtn.split("|#==#|") return rtn except: pass return None def spilt_rex_doc_list(self, _list, _pattern, _idx): #print("_list, _pattern, _idx",_list, _pattern, _idx) rtn=[] for list in _list: rtn.append(self.spilt_rex_doc(list, _pattern, _idx)) return rtn #============================================================================== ## 샘플 {"pattern": {"P1": "공동도급.", "P2": ".혼합허용", "N1": "ZZZ",}, "value": "1"} ## P(n) => 포함 조건 , P1, P2 ... and, or 조건은 정규식으로, = 조건은 ^word$ ## N(n) => 제외 조건 , N1, N2 ... and, or 조건은 정규식으로, = 조건은 ^word$ def mapping_pattern_value(self, _patterns, _str, _init): for _row in _patterns: fg = True for key in _row["pattern"]: tmp = self.check_pattern(key, _row["pattern"][key], _str) #print(key, _row["pattern"][key], tmp) if (tmp != True): # 조건중 하나라도 참이 아니면 초기값 리턴 fg = False if fg == True: return _row["value"] return _init # K-APT 면허 매칭 def mapping_pattern_list(self, _patterns, _str): #매칭되는 모든 값을 리스트로 반환 rtn = [] for _row in _patterns: fg = True for key in _row["pattern"]: tmp = self.check_pattern(key, _row["pattern"][key].rstrip('|'), _str) # print(key, _row["pattern"][key], tmp) if (tmp != True): # 조건중 하나라도 참이 아니면 초기값 리턴 fg = False if fg == True: rtn.append(_row["value"]) return rtn def check_pattern(self, key, pattern, txt): try: if(key[0]=="P"): if(len(re.findall(pattern, txt))>0): rtn = True else: rtn = False else: if(len(re.findall(pattern, txt))<=0): rtn = True else: rtn = False except Exception as ex: # print("check_pattern :", ex) rtn = None return rtn def Not_None_Zero(self, _str): try: if float(_str.replace(",",""))>0: return True else: return False except: return False #JSON 변환전 딕셔너리 구조 정리 함수 def dict_reorganization(self, item): returnData = {} try: for item_key, item_value in item.items(): if type(item_value) == int or type(item_value) == str or type(item_value) == float or item_value is None: returnData[item_key] = item_value else: returnData[item_key] = self.dict_reorganization(item_value) return returnData except Exception as ex: print("dict_reorganization :", ex) def listTOdict(self, _lists): rtn = {} for _idx, _list in enumerate(_lists): rtn[_idx] = _list return rtn # sys_collect 다음차수 공고 있는지 체크 (리스트 수집시 같은공고정보가 다수일경우 전차수가 뒤에 수집되기때문에 전차수가 나중에 수집되면 pass하기위해) def prev_notinum_check(self, syscollect): rtn = 'new' dkey = syscollect['dkey'] # 현재 whereis 안들어가는 발주처가 많아서 dcode로 함 if syscollect['dcode'] == "D2B_B": dkey = syscollect['dkey'].split("-")[0] + "-" + str(int(syscollect['dkey'].split("-")[1]) + 1) where = {} where['dcode'] = syscollect['dcode'] where['dkey'] = dkey where['dkey_ext'] = syscollect['dkey_ext'] chk = self.dbconn_BI.ck_Exist_one(where, "sys_collect") if chk == True: print("다음차수 공고 있음") rtn = 'closed' else: pass return rtn def null_turn(self, data): if data is None: data = '' if len(re.findall('0000-00-00', str(data))) > 0: data = '' return data def filter_num(self, num): rt = 0 if num: numbers = re.findall(r'\d+', str(num)) if numbers: rt = numbers[0] return rt def crawl_error_list(self, site, spiders, error_type, error_log): logging.info("[crawl_error_list] start") _insert = {} _insert['site'] = site _insert['spiders'] = spiders _insert['error_type'] = error_type _insert['error_log'] = str(error_log) _insert['writedt'] = 'NOW()' self.dbconn_BI.Insert_table(_insert, 'crawl_error_list') logging.info("[crawl_error_list] end") def crawl_moniter(self, type, site, spiders, spiderType): print("[crawl_moniter] start") # 특정 데이터를 업데이트 하는 경우 수집프로그램 구동으로 보지 않는다. if spiderType != "modification": columnName = "" if type == "start": columnName = "startTime" elif type == "end": columnName = "endTime" _where = {} _where['site'] = site _where['spiders'] = spiders _where['spiderType'] = spiderType row = self.dbconn_BI.get_one_row(_where, "crawl_moniter") if row == None: _insert = {} _insert['site'] = site _insert['spiders'] = spiders _insert['spiderType'] = spiderType if columnName: _insert[columnName] = "NOW()" self.dbconn_BI.Insert_table(_insert, 'crawl_moniter') else: _update = {} if columnName: _update[columnName] = "NOW()" # 종료시간 저장시 이전 종료시간을 남겨두기 위해 기록한다. if type == "end": _update['prevTime'] = row['endTime'] self.dbconn_BI.Update_table(_update, _where, 'crawl_moniter') print("[crawl_moniter] end") return "" def safe_encode(self, input_str, encoding='euc_kr'): if input_str is None: return '' result = [] for char in input_str: try: char.encode(encoding) result.append(char) except UnicodeEncodeError: # HTML 엔티티로 대체 if char in html.entities.codepoint2name: # 공식 HTML 엔티티가 있으면 사용 name = html.entities.codepoint2name[ord(char)] result.append('&{0};'.format(name)) else: # HTML 엔티티가 없는 경우 숫자 참조를 사용 result.append('&#{0};'.format(ord(char))) return ''.join(result) def change_cost_notice_memo(self, before, after, bidid, type, whereis): try: # 국방부는 기초금액이 있을 때에만 수집되어서 변경에 대한 로그가 없을것으로 판단 제외함 print("change_cost_notice_memo") if whereis == '01': content1 = "g2b" elif whereis == '10': content1 = "d2b" if type == 'const_cost': type_kor = "순공사원가" elif type == 'cost_a': type_kor = "A값" #수집시각 crawl_date_time = str(datetime.now().strftime('%Y/%m/%d %H:%M')) if (before is not None and before != "" and int(before) > 0 and after is not None and after != "" and int(after) > 0 and before != after): notice_memo_premium = "[수집시각: {}] 본 공고의 {} 금액이 정정이나 공지없이 변경되었습니다. 입찰에 참고하시기 바랍니다.(변경 전: {:,}원 / 변경 후: {:,}원)".format(crawl_date_time, type_kor, int(before), int(after)) crawl_monitor_data = {"category": "bid_change_notice_ck", "error_detail": notice_memo_premium, "content1": content1, "content2": type, "bidid": bidid} Etl.crawl_monitor_error(self, crawl_monitor_data) notice_data = {} notice_data["notice_memo"] = notice_memo_premium notice_data["writer_name"] = "자동수집" notice_data["status"] = "done" notice_data["category_type"] = "" notice_data["reg_date"] = 'NOW()' notice_data["bidid"] = bidid self.dbconn_BI.Insert_table(notice_data, 'bid_notice_memo') except Exception as e: crawl_monitor_data = {"category": "bid_change_notice_ck", "error_detail": "TRY-CATCH - bidid({}), whereis({}) : {}".format(bidid, whereis, e), "content1": content1, "content2": type, "bidid": bidid} Etl.crawl_monitor_error(self, crawl_monitor_data) def crawl_monitor_error(self, data): # 'category' 컬럼이 존재하는지 확인 category_column = data.get('category', None) if category_column is not None: # 'category' 컬럼에 공백, None이 아닌 값이 있는지 확인 if all(item is not None and str(item).strip() != '' for item in category_column): # 에러 로그라 이후 구문에 문제 없도록 try catch try: data["reg_date"] = "NOW()" self.dbconn_BI.Insert_table(data, 'crawl_monitor_error') except Exception as e: # 오류가 발생하더라도 로그로만 남기고 계속 진행 error = { 'category': data['category'], 'error_detail': e, "reg_date": "NOW()" } self.dbconn_BI.Insert_table(error, 'crawl_monitor_error') print("crawl_monitor_error 오류: " + e) else: print("crawl_monitor_error: category 공백") # 자동 검수 코드 세팅 def auto_service_code_set(self, auto_service_code, item_bidkey, item_bidvalue, item_bidcontent): # print("[auto_service_code_set] 공고 미입력 자동 서비스 start") update_bid_key = {} update_bid_value = {} update_bid_content = {} ########################## # 추후 추가할 항목들 ########################## # [K아파트] 자동점검 # [물품] 자동점검 # [나라장터] 특정용역 자동점검 # [나라장터] 재입찰 자동점검 # [나라장터] 취소 자동점검 ################################################################################################ # [나라장터] 전자시담 자동점검 (start) ################################################################################################ e_sidam_whereis = {"01"} e_sidam_bidcls = {"06"} if item_bidkey["whereis"] in e_sidam_whereis and item_bidkey["bidcls"] in e_sidam_bidcls: ################################ # 1. state 세팅 ################################ update_bid_key['state'] = 'A' update_bid_key['inputer'] = '19' ################################ # 2. location 세팅 (시스템에서 수집한 면허가 없을 경우) ################################ if not item_bidkey["location"] or item_bidkey["location"] == '0': update_bid_key["location"] = 1 ################################ # 3. auto_service_code 세팅 ################################ # bid_key에 코드가 세팅되어 있을 경우 if 'auto_service_code' in item_bidkey and item_bidkey['auto_service_code']: # 세팅된 코드에 추가하려는 코드가 이미 있을 경우 if auto_service_code in item_bidkey['auto_service_code']: pass # 세팅된 코드에 추가하려는 코드가 없을 경우 else: update_bid_key['auto_service_code'] = item_bidkey['auto_service_code'] + '|' + auto_service_code # bid_key에 코드가 세팅되지 않은 경우 else: update_bid_key['auto_service_code'] = auto_service_code # 시스템에서 수집한 면허가 없을 경우 -> 시설 : 기타공사, 용역 : 기타용역, 물품 : 기타물품 if not item_bidkey["concode"] and not item_bidkey["sercode"] and not item_bidkey["purcode"]: if item_bidkey["bidtype"] == "con": update_bid_key["concode"] = "C999" elif item_bidkey["bidtype"] == "ser": update_bid_key["sercode"] = "S999" elif item_bidkey["bidtype"] == "pur": update_bid_key["purcode"] = "P501" ################################ # 공고명으로 텍스트 판단해서 면허 세팅 (시스템에서 수집한 면허가 없을 경우) # 해당조건 제거 -> 나중에 살릴수 있으니 코드 남겨 놓음 ################################ if False: update_part_tmp = {"concode": item_bidkey["concode"], "sercode": item_bidkey["sercode"], "purcode": item_bidkey["purcode"]} # 시스템에서 수집한 면허가 없을 경우 if not update_part_tmp["concode"] and not update_part_tmp["sercode"] and not update_part_tmp["purcode"]: auto_part_check_query = "SELECT * FROM auto_partcode_check WHERE whereis = 'e_sidam' AND state IN ('T', 'TT')" auto_part_check_data = self.dbconn_BI.sql_exec(auto_part_check_query, "DS") for item in auto_part_check_data: # 현재공고와 자동세팅된 정보의 기준이 동일할때 (시설, 용역, 물품) if item['bidtype'] == item_bidkey['bidtype']: # 매칭 조건만 있을 때 if item['state'] == 'T': pattern_value_dict = {"pattern": {"P1": item['searchWord']}, "value": item['checkCode']} # 매칭 + 제외 조건 있을 때 elif item['state'] == 'TT': split_search_word = item['searchWord'].split('","') pattern_value_dict = {"pattern": {"P1": split_search_word[0].replace('{"P":"', ''), "N1": split_search_word[1].replace('N":"', '').replace('"}', '')}, "value": item['checkCode']} # 공고명과 매칭해서 추가할 면허를 추출 mapping_part = self.mapping_pattern_list([pattern_value_dict], item_bidkey["constnm"].replace(" ", "")) # 추출된 면허가 있으면 if mapping_part: print("매핑", pattern_value_dict) # 기존에 면허가 없으면 면허만 세팅 if not update_part_tmp[item['codetype']]: update_part_tmp[item['codetype']] = mapping_part[0] update_bid_key[item['codetype']] = mapping_part[0] # 기존 면허정보에 추가할 면허가 없을 경우 elif mapping_part[0] not in update_part_tmp[item['codetype']]: # 기존에 면허가 있으면 면허 뒤에 | 붙여서 세팅 update_part_tmp[item['codetype']] = update_part_tmp[item['codetype']] + "|" + mapping_part[0] update_bid_key[item['codetype']] = update_bid_key[item['codetype']] + "|" + mapping_part[0] else: print("시스템 수집 면허 있음") ################################ # 5. 자격조건, 공고문 세팅 ################################ if not item_bidcontent['bidcomment']: update_bid_content['bidcomment'] = '[* 공고 원문을 참조하시기 바랍니다. *]' elif '원문' not in item_bidcontent['bidcomment']: update_bid_content['bidcomment'] = item_bidcontent['bidcomment'] + '[* 공고 원문을 참조하시기 바랍니다. *]' #else: update_bid_content['bidcomment'] = item_bidcontent['bidcomment'] + '[* 공고 원문을 참조하시기 바랍니다. *]' #if not item_bidcontent['bid_html']: update_bid_content['bid_html'] = '[* 공고 원문을 참조하시기 바랍니다. *]' #update_bid_content['bidcomment'] = '[* 공고 원문을 참조하시기 바랍니다. *]' update_bid_content['bid_html'] = '[* 공고 원문을 참조하시기 바랍니다. *]' ################################################################################################ # [나라장터] 전자시담 자동점검 (end) ################################################################################################ # print("[auto_service_code_set] 공고 미입력 자동 서비스 end") return update_bid_key, update_bid_value, update_bid_content class g2b_attchd_lnk: # make_guid 함수 정의 def make_guid(self, a=None): if hasattr(uuid, 'uuid4'): c = str(uuid.uuid4()).replace("-", "") else: c = ''.join([hex(random.randint(0, 65535))[2:] for _ in range(8)]) if a is not None: c = "{}-{}".format(a, c) return c # 문자열 삽입 함수 def insertAt(self, a, c, b): return a[:c] + b + a[c:] # UTF-8 인코딩 함수 def utf8_encode(self, b): b = b.replace('\r\n', '\n') c = "" for a in range(len(b)): d = ord(b[a]) if d < 128: c += chr(d) else: if 127 < d < 2048: c += chr((d >> 6) | 192) else: c += chr((d >> 12) | 224) c += chr(((d >> 6) & 63) | 128) c += chr((d & 63) | 128) return c # Base64 인코딩 함수 def base64_encode(self, a): keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=" c = "" l = 0 a = self.utf8_encode(a) while l < len(a): b = ord(a[l]) l += 1 if l < len(a): e = ord(a[l]) l += 1 else: e = None if l < len(a): f = ord(a[l]) l += 1 else: f = None d = b >> 2 if e is not None: b_new = ((b & 3) << 4) | (e >> 4) if f is not None: h = ((e & 15) << 2) | (f >> 6) k = f & 63 else: h = ((e & 15) << 2) k = 64 # Padding index for '=' else: b_new = ((b & 3) << 4) h = k = 64 # Padding indices for '=' c += keyStr[d] c += keyStr[b_new] c += keyStr[h] c += keyStr[k] return c # 암호화 파라미터 생성 함수 def makeEncryptParam(self, a): #a = self.base64_encode(self.utf8_encode(a)) # 중복 사용이어서 수정 a = self.base64_encode(a) if len(a) >= 10: a = self.insertAt(a, 8, "r") a = self.insertAt(a, 6, "a") a = self.insertAt(a, 9, "o") a = self.insertAt(a, 7, "n") a = self.insertAt(a, 8, "w") a = self.insertAt(a, 6, "i") a = self.insertAt(a, 9, "z") else: a = self.insertAt(a, len(a) - 1, "$") a = self.insertAt(a, 0, "$") a = a.replace('+', '%2B') return a # 최종 암호화 파라미터 함수 def makeEncryptParamFinal(self, a, c): b = { 'name': "", 'value': "" } e = "1" f = "1" d = "2018.1548512.1555.33" if "1" >= e: if f == "0": b['name'] = "k10" b['value'] = self.makeEncryptParam(a) if c and c == 1 else d + self.makeEncryptParam(a) else: b['name'] = "k00" b['value'] = self.makeEncryptParam(a) return b def attchd_lnk_set(self, attchd_lnk_data): # 데이터 없을 경우 데이터 반환하지 않도록 처리 필요 # 첨부파일 여러개이면 여러개 데이터 세팅하도록 처리 필요 print("attchd_lnk_data > ", attchd_lnk_data) returnData = "" orgnlAtchFileNm = html.unescape(urllib.parse.unquote(attchd_lnk_data['orgnlAtchFileNm'])) atchFilePathNm = html.unescape(urllib.parse.unquote(attchd_lnk_data['atchFilePathNm'])) print("orgnlAtchFileNm > ", orgnlAtchFileNm) print("atchFilePathNm > ", atchFilePathNm) file_set_data = "kc\fc11\u000b" file_set_data += "k01\f1\u000b" file_set_data += "k12\f{}\u000b".format(self.make_guid()) file_set_data += "k26\f{}\u000b".format(atchFilePathNm) file_set_data += "k31\f{}\u000b".format(orgnlAtchFileNm) file_set_data += "k21\f{},{}\u000b".format(attchd_lnk_data['untyAtchFileNo'], attchd_lnk_data['atchFileSqno']) print("file_set_data > ", file_set_data) # 마지막 수직 탭 제거 (원하지 않으면 생략 가능) # file_set_data = file_set_data.rstrip("\u000b") # print("file_set_data 수직 탭 제거> ", file_set_data) # Now, process a using makeEncryptParamFinal file_set_data_result = self.makeEncryptParamFinal(file_set_data, c=1) file_set_data_name = file_set_data_result.get('name') file_set_data_value = file_set_data_result.get('value') returnData = "{orgnlAtchFileNm}#=====#https://nwww.g2b.go.kr/fs/fsc/fsca/fileUpload.do?{file_set_data_name}={file_set_data_value}".format(orgnlAtchFileNm=orgnlAtchFileNm, file_set_data_name=file_set_data_name, file_set_data_value=file_set_data_value) print("file_set_data_result > ", file_set_data_result) print("https://nwww.g2b.go.kr/fs/fsc/fsca/fileUpload.do?" + file_set_data_name + "=") print("file_set_data_value > ", file_set_data_value) return returnData