용사냥꾼69

직렬화 직렬화는 객체를 바이트 스트림으로 변환하는 과정을 말합니다. 이는 객체를 저장하거나 전송하는 데 사용됩니다. 직렬화를 하는 이유는 여러 가지가 있습니다. 첫째, 직렬화를 통해 객체를 저장하거나 전송할 수 있습니다. 예를 들어, 객체를 파일에 저장하고 나중에 다시 로드할 수 있습니다. 또는 객체를 네트워크를 통해 전송하고 다른 시스템에서 다시 역직렬화하여 사용할 수 있습니다. 둘째, 직렬화를 사용하면 객체를 암호화할 수 있습니다. 객체를 암호화하면 중요한 데이터를 안전하게 보호할 수 있습니다. 직렬화를 언제 사용해야 하는지는 상황에 따라 다릅니다. 예를 들어, 객체를 저장하거나 전송해야하는 경우 직렬화를 사용해야 합니다. 또한, 객체를 암호화하거나 중요한 데이터를 안전하게 보호해야하는 경우에도 직렬..

데이터 중복성 검사에서 병렬 처리 데이터를 다루다보면, 반드시 중복성 검사... 일관성 검사 같은 종류의 것들을 해야할 때가 있다. 최근에 특정 조건에서 수십만 개의 데이터 속, 중복된 것을 찾아야 했는데 코딩 테스트에서의 마법같은 기술이 전혀 먹히지 않는 그러한 문제였다. (코테를 잘하는 편도 아니지만) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ... ... 97 98 99 100 이런 종류의 문제에 대하여 1번 데이터를 2~100번까지 검사하고, 2번 데이터를 3~100까지, 3번 데이터를 4~100까지 검사하는 n번 데이터를 n+1번부터 검사시키는 방법이 가장 단순하지만, 신뢰성이 높은 방법이다. 신뢰성이 중요한 문제였고, 딱히 다른 방법도 생각나지 않았기 때문에 시간을..

셀레니움은 웹 브라우저를 컨트롤 하는 것을 도와주는 도구다. 이 말은 웹 브라우저를 활용한 서비스라면 거의 대부분 셀레니움이 브로커 역할을 하면서 서로 결합될 수 있는 것이다. 셀레니움을 사용하여 ChatGPT에 접속하려고 하면 CLOUDFLARE가 무한 루프를 돌기 시작한다. 봇에 의한 크롤링을 방지하기 위해서 일련의 기법들이 적용되어 있는 것이다. 기업에서 하지 말라고 하면 가급적 안하는게 좋다. API를 제공하고 있으니 말이다... 그러나, 이번엔 학습을 목적으로 "셀레니움" 만을 사용하여 어떻게든 설계를 완성시키는게 목적이었다. 이에 따라서 원격 디버깅을 통해 Chat GPT는 미리 접속을 해놓는다. 터미널에서 해당 명령어 실행해서 크롬 원격 디버그창을 띄워놓은 상태에서 코드 실행 [windows..

HTML을 분석해주는 BeautifulSoup BeautifulSoup은 Python 라이브러리로 HTML 및 XML 문서를 분석하는 데 사용됩니다. 이를 사용하면 웹 스크래핑과 데이터 마이닝 작업을 보다 쉽게 수행할 수 있습니다. 아래는 BeautifulSoup을 사용하여 웹 페이지에서 제목 요소를 추출하는 간단한 예제 코드입니다. pythonCopy code import requests from bs4 import BeautifulSoup # 웹 페이지 가져오기 url = 'https://www.example.com/' response = requests.get(url) # HTML 파싱 soup = BeautifulSoup(response.text, 'html.parser') # 제목 요소 가져오기..