티스토리

용사냥꾼69

검색하기

블로그 홈

용사냥꾼69

dragonhunter69.tistory.com/m

DE, ML 관련 엔지니어 학습 기록

구독자: 0

방명록 방문하기

주요 글 목록

[팀 프로젝트]GCP에서의 Cronjob을 활용한 API 자동화 프로젝트 주제 이번에 학습을 위해 진행한 팀플에서는 "채용 데이터 API를 활용한 대쉬보드 구축" 이라는 주제로 진행했습니다. 팀은 ETL, ELT팀으로 각각 파트를 나눠서 5명의 인원을 분배하는 식으로 협업 전략을 계획했습니다. 이 협업 전략의 목표는 각 팀이 자신의 파트에 대한 자동화를 책임있게 담당하고 유지보수를 하기 위함입니다. 프로젝트 결과물 Github https://github.com/pjw74/GCP-Job-Board GitHub - pjw74/GCP-Job-Board Contribute to pjw74/GCP-Job-Board development by creating an account on GitHub. github.com # 집중한 부분 코드 자체의 규모나 복잡한 기능보다는 발생할 .. 공감수 0 댓글수 0 2023. 6. 10.
RedShift와 S3를 통한 데이터 벌크업데이트 및 CTAS with python 사용 환경 : mac Redshift serverless S3 python Redshift 의 기본 구성으로 생성 이후, S3 bucket도 기본 구성으로 생성된 상황 아래에서 진행합니다. 대쉬보드에서 default 로 생성된 작업 그룹을 클릭하여 들어갑니다. 위의 그림에서 나오듯이, 퍼블릭 액세스 가능이 "켜짐" 이어야 하고, 연결된 VPC 보안 그룹 내의 inbound 규칙이 외부 연결을 받을 수 있는지 확인해야 됩니다. 기본 세팅에서는 외부 연결에 대하여 차단하는 상태입니다. 외부 연결에 대하여 허용할 수 있도록 변경해줍니다. defalut에 해당하는 네임스페이스를 클릭하여 상세 정보를 들어가면 기본적으로는 권한이 없습니다. Redshift -> S3의 연결을 허용하려면 IAM 역할을 생성하여 Re.. 공감수 0 댓글수 0 2023. 5. 25.
[Django] reverse_lazy() 에 대하여 reverse_lazy() Django에서 reverse_lazy() 함수는 URL 패턴의 이름을 사용하여 URL 문자열을 만드는 함수입니다. 이 함수는 URL 패턴이나 뷰의 이름이 변경되어도 코드를 수정할 필요 없이 URL을 역순으로 참조할 수 있도록 해줍니다. reverse_lazy() 함수는 reverse() 함수와 비슷하지만, 지연 평가(lazy evaluation)를 사용하여 URL 패턴이나 뷰의 이름이 변경되어도 문제 없이 동작합니다. 지연 평가는 함수의 실행을 가능한 늦추고, 필요한 시점까지 실행을 연기함으로써 프로그램의 성능을 최적화하는 방법 중 하나입니다. reverse_lazy() 함수는 보통 뷰나 모델에서 success_url이나 get_absolute_url() 등에서 사용됩니다. .. 공감수 0 댓글수 0 2023. 4. 28.
직렬화는 언제 하는거고 왜 하는걸까? + 직렬화 형식의 종류 직렬화 직렬화는 객체를 바이트 스트림으로 변환하는 과정을 말합니다. 이는 객체를 저장하거나 전송하는 데 사용됩니다. 직렬화를 하는 이유는 여러 가지가 있습니다. 첫째, 직렬화를 통해 객체를 저장하거나 전송할 수 있습니다. 예를 들어, 객체를 파일에 저장하고 나중에 다시 로드할 수 있습니다. 또는 객체를 네트워크를 통해 전송하고 다른 시스템에서 다시 역직렬화하여 사용할 수 있습니다. 둘째, 직렬화를 사용하면 객체를 암호화할 수 있습니다. 객체를 암호화하면 중요한 데이터를 안전하게 보호할 수 있습니다. 직렬화를 언제 사용해야 하는지는 상황에 따라 다릅니다. 예를 들어, 객체를 저장하거나 전송해야하는 경우 직렬화를 사용해야 합니다. 또한, 객체를 암호화하거나 중요한 데이터를 안전하게 보호해야하는 경우에도 직렬.. 공감수 0 댓글수 0 2023. 4. 26.
데이터 중복성 검사와 병렬 처리에 대하여 데이터 중복성 검사에서 병렬 처리 데이터를 다루다보면, 반드시 중복성 검사... 일관성 검사 같은 종류의 것들을 해야할 때가 있다. 최근에 특정 조건에서 수십만 개의 데이터 속, 중복된 것을 찾아야 했는데 코딩 테스트에서의 마법같은 기술이 전혀 먹히지 않는 그러한 문제였다. (코테를 잘하는 편도 아니지만) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ... ... 97 98 99 100 이런 종류의 문제에 대하여 1번 데이터를 2~100번까지 검사하고, 2번 데이터를 3~100까지, 3번 데이터를 4~100까지 검사하는 n번 데이터를 n+1번부터 검사시키는 방법이 가장 단순하지만, 신뢰성이 높은 방법이다. 신뢰성이 중요한 문제였고, 딱히 다른 방법도 생각나지 않았기 때문에 시간을.. 공감수 0 댓글수 0 2023. 4. 24.
셀레니움을 활용한 Chat GPT to Slack 셀레니움은 웹 브라우저를 컨트롤 하는 것을 도와주는 도구다. 이 말은 웹 브라우저를 활용한 서비스라면 거의 대부분 셀레니움이 브로커 역할을 하면서 서로 결합될 수 있는 것이다. 셀레니움을 사용하여 ChatGPT에 접속하려고 하면 CLOUDFLARE가 무한 루프를 돌기 시작한다. 봇에 의한 크롤링을 방지하기 위해서 일련의 기법들이 적용되어 있는 것이다. 기업에서 하지 말라고 하면 가급적 안하는게 좋다. API를 제공하고 있으니 말이다... 그러나, 이번엔 학습을 목적으로 "셀레니움" 만을 사용하여 어떻게든 설계를 완성시키는게 목적이었다. 이에 따라서 원격 디버깅을 통해 Chat GPT는 미리 접속을 해놓는다. 터미널에서 해당 명령어 실행해서 크롬 원격 디버그창을 띄워놓은 상태에서 코드 실행 [windows.. 공감수 0 댓글수 0 2023. 4. 21.
공부에 도움이 될만한 링크 https://github.com/jwasham/coding-interview-university https://github.com/donnemartin/system-design-primer https://github.com/Team-Neighborhood/I-want-to-study-Data-Science https://github.com/Knowre-Dev/DevOpsCurriculum https://github.com/Integerous/goQuality-dev-contents https://www.grabbing.me/IT-A-to-Z-By-1e1fbc981b7c4c03ac44943085ac8304 https://www.freecodecamp.org/learn/ https://datatalks.c.. 공감수 0 댓글수 0 2023. 4. 20.
웹스크래핑, beatuifulsoup4 HTML을 분석해주는 BeautifulSoup BeautifulSoup은 Python 라이브러리로 HTML 및 XML 문서를 분석하는 데 사용됩니다. 이를 사용하면 웹 스크래핑과 데이터 마이닝 작업을 보다 쉽게 수행할 수 있습니다. 아래는 BeautifulSoup을 사용하여 웹 페이지에서 제목 요소를 추출하는 간단한 예제 코드입니다. pythonCopy code import requests from bs4 import BeautifulSoup # 웹 페이지 가져오기 url = 'https://www.example.com/' response = requests.get(url) # HTML 파싱 soup = BeautifulSoup(response.text, 'html.parser') # 제목 요소 가져오기.. 공감수 0 댓글수 0 2023. 4. 19.
AWS - NAT Gateway 비용 이슈 관련한 경험 NAT 게이트웨이는 NAT(네트워크 주소 변환) 서비스입니다. 프라이빗 서브넷의 인스턴스가 VPC 외부의 서비스에 연결할 수 있지만 외부 서비스에서 이러한 인스턴스와의 연결을 시작할 수 없도록 NAT 게이트웨이를 사용할 수 있습니다. -AWS 공식 문서- NAT Gateway는 간단히 말해서 private한 영역의 서브넷에서 외부 인터넷과의 접속을 위한 서비스라고 생각할 수 있다. 백엔드 영역의 서버쪽은 외부 접속이 제한되어야 하는 private 영역이지만, 필요한 경우 외부로의 접속은 허용되어야 할 수 있다. private -> 외부 에 대한 허용과 관련한 서비스인 것이다. 외부 -> private은 또 다른 영역이니 주의. 하여튼 이 녀석이 뭐가 문제냐면 다른 AWS의 대부분에 속하는 On-deman.. 공감수 0 댓글수 1 2023. 4. 18.
HTTP, 인터넷 사용자 간의 약속 HTTP(Hypertext Transfer Protocol) HTTP(Hypertext Transfer Protocol)는 인터넷에서 데이터를 전송하기 위한 프로토콜로, 클라이언트와 서버 간의 요청과 응답으로 이루어집니다. 이번에는 HTTP가 인터넷 사용자 간의 약속이라는 관점에서 HTTP의 특징과 예시를 살펴보겠습니다. 1. 상태를 유지하지 않는 Stateless 프로토콜 HTTP는 상태를 유지하지 않는 Stateless 프로토콜로, 클라이언트와 서버 간의 통신이 한 번 끝나면 다시 연결을 맺을 때 이전의 상태 정보를 기억하지 않습니다. 이러한 특성으로 인해, HTTP 요청과 응답은 독립적으로 이루어지며, 불필요한 상태 정보를 전송하지 않아 효율적입니다. 예를 들어, 사용자가 웹 사이트에서 로그인을 하.. 공감수 0 댓글수 0 2023. 4. 18.
CHAT GPT-4 탈옥 프롬프트 GPT-4는 여러 윤리적 기준(PC)에 위반하는 질문들을 자체적으로 검열하는 기술을 자랑하는데 나온 지 2틀만에 벌써 이걸 우회하는 방법이 벌써 나와버림 ㄷㄷ 작동원리는 토큰 스머글링이라는 기술을 활용했는데 쉽게 얘기하면 GPT-4가 다음 단어를 예측하는 능력을 역이용 한 것임ㅋㅋ 사용법은 간단함 1) GPT-4가 걸러낼 만한 단어들 ( 해킹, 야한 소설, 마약... )을 토큰으로 나눈다. 아래 템플릿 simple_function 안에서 "someone's computer" 를 나눈것 처럼 그냥 원하는 단어를 대체해서 잘라서 넣어라 2) 그리고 질문의 첫 부분을 "simple_function"의 인풋으로 템플렛에서 바꿔 넣음 3) 수정한 탈옥 프롬프트를 그대로 복붙하면 끝. + 빡대가리들을 위한 쉬운 설.. 공감수 0 댓글수 1 2023. 4. 18.
프론트엔드의 기본, HTML 기초에 대한 설명 HTML/CSS/JS 웹 개발의 세 가지 핵심 기술로, HTML은 웹 페이지의 구조를 정의하고, CSS는 웹 페이지의 스타일을 꾸미고, 자바스크립트는 웹 페이지의 동작을 구현합니다. 이번 포스트에서는 HTML의 기초에 대해 알아보겠습니다. HTML HTML(HyperText Markup Language)은 웹 페이지의 구조와 콘텐츠를 정의하는 마크업 언어입니다. 웹 브라우저는 HTML 문서를 해석하여 사용자에게 보여줍니다. HTML은 프로그래밍 언어는 아니지만, 파이썬, C++, JAVA 같은 언어만큼이나 IT 생태계에서 강력하게 동작하고 있습니다. HEAD HTML 문서의 첫 번째 구성 요소로서, 문서의 메타데이터(문자 인코딩, 제목, 스타일 시트 등)를 포함합니다. BODY HTML 문서의 두 번째 .. 공감수 0 댓글수 0 2023. 4. 17.
힙(Heap)은 언제, 왜 사용하는가? 힙(Heap) 너 참 힙하다~ 힙(Heap)은 트리(Tree) 구조 중 하나로, 이진 트리(Binary Tree)를 기반으로 한 자료구조입니다. 최소 힙(Min Heap)과 최대 힙(Max Heap)으로 나뉘며, 각각 부모 노드가 자식 노드보다 작거나 큰 값을 가지는 트리입니다. 힙은 다음과 같은 이유로 사용됩니다. 우선순위 큐(Priority Queue) 구현에 사용됩니다. 최소 힙을 이용하면, 우선순위가 가장 높은 값(최소값)을 상수 시간(O(1))에 구할 수 있습니다. 최대 힙을 이용하면, 우선순위가 가장 높은 값(최대값)을 상수 시간(O(1))에 구할 수 있습니다. 정렬 알고리즘(Sorting Algorithm)에 사용됩니다. 힙 정렬(Heap Sort) 알고리즘은, 힙을 이용한 정렬 방법으로, .. 공감수 0 댓글수 0 2023. 4. 14.
다중 선형 회귀와 회귀모델에 대한 평가 지표, 그리고 과적합과 과소적합 안녕하세요! 이번 포스트에서는 다중 선형 회귀와 회귀모델에 대한 평가 지표, 그리고 과적합과 과소적합에 대해서 알아보려고 합니다. 다중 선형 회귀 다중 선형 회귀는 특성을 2개 이상 사용한 선형 회귀 모델입니다. 회귀 계수를 통해 모델을 상대적으로 간단하고 명료하게 설명할 수 있습니다. 그러나, 복잡한 데이터와 문제에 대해서는 과소적합을 보이는 경우가 많습니다. 이를 해결하기 위해 다른 모델들과 비교해서 사용할 수 있습니다. 하지만, 성능이 비슷할 경우 다중 선형 회귀가 가진 장점은 상당히 강력하다고 생각합니다. 회귀모델에 대한 평가 지표 회귀 모델의 성능을 평가하는 지표로는 MAE, MSE, R2 등이 있습니다. MAE는 오차 절댓값의 평균으로, 이상치에 대해서 강건한 경향이 있습니다. MSE는 오차 .. 공감수 0 댓글수 0 2023. 4. 14.
해시 테이블(Hash Table)과 파이썬 카운터(Counter) 해시 테이블(Hash Table) 해시 테이블(Hash Table)은 데이터를 저장하는 자료구조 중 하나로, 키(Key)와 값(Value)의 쌍으로 이루어진 데이터를 저장하고 검색하는데 사용됩니다. 이번에는 해시 테이블을 사용하는 이유와 그 예시에 대해 살펴보도록 하겠습니다. 검색 속도가 빠름 - 해시 테이블은 검색 속도가 매우 빠릅니다. 이는, 입력된 키에 대한 해시 함수를 이용하여, 해당 데이터가 저장된 인덱스를 계산하고, 해당 인덱스에 접근하여 검색하기 때문입니다. 이 때, 평균적으로 검색 시간은 O(1)입니다. 고유한 키를 사용할 수 있음 - 해시 테이블은 고유한 키(Key)를 사용할 수 있습니다. 이는, 키(Key)를 이용하여 데이터를 검색하고, 수정하거나 삭제하는 등의 작업을 수행할 수 있기 .. 공감수 0 댓글수 0 2023. 4. 13.
넓이 우선 순회(breadth first traversal) 에서의 큐(Queue) 사용에서 알 수 있는 여러 자료구조의 활용 넓이 우선 순회(Breadth First Traversal) 넓이 우선 순회(Breadth First Traversal)는 트리 또는 그래프를 순회하는 방법 중 하나로, 루트 노드에서 시작하여 인접한 노드들을 먼저 탐색하는 방식입니다. 이를 위해서 큐(Queue) 자료구조를 사용하여 먼저 방문한 노드를 먼저 처리하는 것이 일반적입니다. 넓이 우선 순회에서 큐 자료구조를 사용하는 방법 외에도, 다양한 자료구조들을 활용할 수 있습니다. 이번에는 넓이 우선 순회에서 사용되는 다양한 자료구조들을 살펴보도록 하겠습니다. 1. 큐(Queue) 가장 일반적으로 사용되는 자료구조로, 먼저 방문한 노드를 먼저 처리하기 위해 사용됩니다. 노드를 큐에 삽입하는 방법으로 넓이 우선 순회를 수행합니다. 2. 스택(Stack) .. 공감수 0 댓글수 1 2023. 4. 12.
파이썬 연결 리스트(Linked Lists)는 왜, 언제 쓰는가? 장점 파이썬에서 연결 리스트는 다음과 같은 이유로 사용됩니다. 동적 크기: 연결 리스트는 동적으로 크기를 조절할 수 있으므로, 배열과 달리 사전에 크기를 지정할 필요가 없습니다. 이로 인해 메모리 할당과 관리가 효율적입니다. 삽입 및 삭제의 효율성: 연결 리스트에서는 노드를 삽입하거나 삭제할 때 포인터를 업데이트하기만 하면 되므로, 이러한 작업의 시간 복잡도는 O(1)입니다. 그러나 배열에서는 요소를 삽입하거나 삭제할 때, 다른 요소들을 이동해야 하므로 시간 복잡도가 O(n)입니다. 메모리 최적화: 연결 리스트는 포인터를 통해 메모리의 불연속적인 영역을 참조할 수 있습니다. 이는 메모리를 효율적으로 사용할 수 있게 해주며, 배열과 달리 연속적인 메모리 공간이 필요하지 않습니다. 단점 하지만 연결 리스트는.. 공감수 0 댓글수 0 2023. 4. 11.
re 패키지를 사용한 병렬처리 시의 주의사항 상황 re 패키지를 사용하여 정규표현식을 통해 병렬처리로 수 많은 문장을 검수해야 하는 상황이 있었습니다. 문제 발생 지속적으로 몇몇 문장에서 코드와는 전혀 다른 문제가 발생했고, 디버깅을 하다보니 결국 정규표현식의 문제라고 판단했습니다. 해결책 re 패키지에 대한 정보를 검색하던 도중 알아낸 사실은 re.compile으로 만들어진 패턴들은 cache에 저장되며, 이는 최대 100개까지고 이보다 많아질 경우 초기화된다는 것입니다. 수 많은 패턴들이 동시에 생성되는 형태의 병렬처리의 경우 초기화되면서 문제가 발생할 수 있습니다. 이 부분에 대해서 유의하면서 병렬처리를 진행해야 합니다. re.compile이 모든 상황에서 필요한 것은 아닙니다. 공감수 0 댓글수 0 2023. 4. 11.
f-string, 포맷코드에 대해서(파이썬 유저 거의 대부분 모름) https://youtube.com/shorts/NHquaDS6XQ0?feature=share 해당 영상에서 f-string을 대충 이해 가능하다 이 기능은 파이썬 3.6 이상에서 도입된 f-string (formatted string literals)입니다. f-string은 문자열 안에서 변수나 표현식을 사용하여 문자열을 동적으로 생성할 수 있는 기능입니다. f-string은 문자열 앞에 f 또는 F를 붙이고, 중괄호 {} 안에 변수나 표현식을 넣어 사용합니다. 중괄호 안에 있는 변수나 표현식은 해당 값을 문자열로 변환하여 문자열 안에 삽입됩니다. 예를 들어, 다음과 같이 f-string을 사용하여 변수 name의 값을 문자열에 삽입할 수 있습니다. name = 'Alice' greeting = f".. 공감수 0 댓글수 1 2023. 4. 11.
이진탐색 알고리즘은 어디에? 왜? 쓰는가 이진 탐색(binary search) 알고리즘은 정렬된 데이터 집합에서 원하는 값을 빠르게 찾는 효율적인 탐색 방법입니다. 파이썬에서도 이 알고리즘이 널리 사용되며, 주로 다음과 같은 경우에 사용됩니다: 정렬된 리스트에서 특정 값을 찾고자 할 때: 이진 탐색 알고리즘을 사용하면 O(log N)의 시간복잡도로 원하는 값을 찾을 수 있어, 큰 데이터 집합에서 효율적입니다. 이와 달리 선형 탐색 알고리즘은 O(N)의 시간복잡도를 가집니다. 특정 범위에 속하는 값 찾기: 이진 탐색을 사용하여 주어진 범위에 속하는 값들을 빠르게 찾을 수 있습니다. 이산화(discretization) 문제 해결: 숫자를 구간별로 이산화하여 어떤 구간에 속하는지 빠르게 알아내는 데 이진 탐색이 사용됩니다. 이진 탐색을 활용한 최적화.. 공감수 0 댓글수 0 2023. 4. 10.
파이썬 리스트에서 del과 pop의 차이 파이썬 리스트에서 del과 pop은 모두 리스트의 요소를 제거하는 역할을 합니다. 그러나 두 메소드는 사용하는 방법과 동작 방식에서 차이가 있습니다. del del은 리스트에서 특정 요소를 제거하는 것입니다. 특정 인덱스의 요소나 리스트 슬라이스를 제거할 수 있습니다. del을 사용하면 제거한 요소는 반환되지 않습니다. fruits = ['apple', 'banana', 'cherry'] del fruits[1] print(fruits) # ['apple', 'cherry'] 위 코드는 del을 사용하여 리스트에서 인덱스 1의 요소인 'banana'를 제거하는 예시입니다. pop pop은 리스트에서 마지막 요소를 제거하고, 해당 요소를 반환합니다. 또한 인덱스를 지정하여 해당 인덱스의 요소를 제거하고, .. 공감수 0 댓글수 0 2023. 4. 10.
문장 중간의 특정 문자만 선택하기-정규표현식을 활용 정규표현식 이에 대한 자세한 설명은 구글에 많이 있지만, 실제로 우리가 굳이 이걸 활용해야 할 때는 다소 복잡한 상황이다. " 안녕하세요 저는 용사냥꾼입니다 " [223번째] 라는 문장이 있을 때 앞의 "는 ',txt) print(txt) 앞조건문 - (? 정규표현식에서 (? 반대로 (?로 문장을 닫아줘야 하기 때문이다. 조건문이 있다는 사실을 기억하자 정규표현식 자체에 조건문이 있다는 것만 알아두면 답답한 일이 적다. 다 외우면서 사용할 필요는 없고, 적어도 가능한 것과 불가능한 것을 구분할 정도의 지식만 가져도 된다고 본다. 공감수 0 댓글수 0 2023. 2. 25.
단순선형회귀모델을 알아야 복잡한 모델을 안다 # 단순선형회귀 모델 --- 지도학습의 일종으로, 하나의 타겟과 하나의 특성을 1대1으로 선정하는 회귀 모델. ## 회귀 문제 타겟값이 연속형 변수일 때를 말한다. ## 기본적인 모델 기본적인 만큼 한계가 명확하지만 단순하고 가벼운 만큼 이런 모델에서도 문제가 발생할 경우 거의 반드시 복잡한 모델에서도 문제가 발생한다고 생각할 수 있다. 즉, 복잡한 모델으로 넘어가기 전에 미리 확인하기 위한 과정이 될 수 있다. 또한 어떤 경우에는 단순한 모델이 더 성능이 좋을 수도 있다. 공감수 0 댓글수 0 2023. 2. 25.
2023 운전면허 시험 순서 이번에 2종 보통을 따려고 찾아보니, 순서에 따라서 생각보다 길어질 수도 있었다. 직장인이라면 평일에 과정을 이수하기 힘들기 때문에 주말에 몰리는 경향이 있으니 미리 신청해두는게 좋겠다. 운전면허 시험 순서는 https://www.safedriving.or.kr/guide/rerGuide01View.do?menuCode=MN-PO-1111 면허시험순서 | 도로교통공단 안전운전 통합민원 www.safedriving.or.kr > 이곳에서 확인할 수 있다. 도로교통공단 안전운전 사이트가 친절하게 잘 설명해주고 있으니 들어가서 절차에 맞게 신청하면 될 것 같다. 그리고 요즘엔 유튜브만으로도 운전면허 시험 준비가 가능할 것 같아서 이렇게 준비하고 그 결과를 확인 해봐야겠다. 공감수 0 댓글수 0 2023. 2. 19.
왜 K-means 클러스터링을 사용하는가? K-means 클러스터링 K 개의 중심점에서 거리를 토대로 가까운 데이터들을 모아서 군집화 하는 비지도학습의 일종이다. 비지도학습이 그렇듯이, 예측하려는 특정 결과가 없을 경우 사용된다. K-means는 대부분의 특성이 연속형 변수일 때 사용된다. 즉, 범주형 변수의 경우에는 사용하기가 곤란하다는 것이다. 장점 공통적으로 구현이 되어있을 확률이 높은 모델이다. 인기가 있기 때문에 연구가 많다. 상대적으로 빠르다. 단점 1. 군집이 구형이라고 가정한다. 당연히, 모든 군집이 구형일 수는 없다. 2. 이상치에 대하여 오류가 발생한다. 상대적인 거리를 기반으로 하는 알고리즘이 공유하는 단점이라고 볼 수 있다. 3. 두 변수의 규모가 다르다면 문제가 일어난다. 표준화나 정규화같은 스케일링을 해야한다. 4. 최적.. 공감수 0 댓글수 0 2023. 2. 18.
변화를 고려하고 있을 때는 AB테스트를 생각해보자 AB 테스트란? 음식 선택은 자유다. 하지만, 비즈니스 선택에선 최소한 합리적인 설득력을 가진 의견이 있어야 한다. 데이터 중심의 의사 결정 과정으로, 기존의 상품에서 변화를 주려고 할 때 고려해볼 방법 중 하나다. AB 테스트 자체는 하나의 가이드 라인이며 가설 설정, 데이터 수집부터 변수 설정까지의 실질적으로 수행해야 할 요소들에 대해서는 알려주지 않는다. 하지만, AB 테스트에는 기본 매개변수가 존재하며 이에 따라서 테스트가 설득력을 얻기 위한 최소한의 샘플 사이즈를 구할 수 있다. 샘플 사이즈 구하는 사이트 매개변수 AB 테스트에는 Baseline Conversion Rate, Minimum Detectable Effect(MDE), Significance, Power level의 매개변수가 존재.. 공감수 0 댓글수 0 2023. 2. 18.
AWS 네트워킹의 동작 원리 VPC는 일반적으로 사용하는 네트워크(물리적)와 개념이 비슷하다는 장점이 있다. 특징 계정 생성 시 기본적으로 VPC 생성 EC2, RDS 등 AWS 서비스 활용 가능 서브넷 구성 보안 설정(IP block, inbound outbound 설정) VPC peering(VPC간의 연결) IP 대역 지정 가능 VPC는 하나의 Region에만 속할 수 있음(다른 Region으로의 확장 X) VPC의 구성 요소 Availability Zone > AWS의 서비스 가능 지역(예: 대한민국) 내에서 서버 위치(예: 서울 / 부산 등) Subnet > VPC의 하위 단위, 하나의 AZ에서만 생성 가능 Internet Gateway > 인터넷으로 나가는 통로, Private subnet은 연결 X NACL(Networ.. 공감수 0 댓글수 0 2023. 2. 18.
F1 Score와 AUC Score는 각각 언제 사용하는가? F1 score 정확도(precision)와 재현율(recall)을 조화평균으로 합친 값. Beta에 해당하는 값은 recall에 대한 가중치와 같고 recall을 더 신경쓸수록 값을 높이면 된다. from sklearn.metrics import f1_score y_pred_pos = y_pred > threshold # threshold는 임계점이다. f1_score(y_true, y_pred_pos) 파이썬 sklearn.metrics를 이용하여 쉽게 구현할 수 있다. F1 Score는 임계점에 따라서 다른 값이 나올 수 있다. 언제 사용해야 할까? Positive 집단에 집중하는 대부분의 이진 분류 문제에서 사용됩니다. 확실한 수치로 나타나는 결정 인자를 제공하기 때문에 비즈니스 이해관계자를 설득.. 공감수 0 댓글수 0 2023. 2. 18.
코랩에서 파이썬 그래프가 안그려질 때 위의 글자만 나오고 그래프가 안나올 경우 아래의 코드를 추가해주면 그래프가 나오게 된다. %matplotlib inline -> 이 한 줄을 추가해준다. 공감수 0 댓글수 0 2023. 2. 16.
np.random.choice 으로 구현하는 부트스트랩(bootstrapping) 부트스트랩 간단히 말해서 현재 가진 데이터를 활용하여 더 큰 범위의 집단을 파악하는 것이다. 대부분의 통계학에서 쓰이는 기법이 다 그렇듯이, 비용과 효율의 현실적인 문제로 인하여 쓰인다고 본다 np.random.choice np.random.choice 공식문서 에 따르면 np.random.choice(a, size, replace, p)로 총 4개의 매개변수가 들어가는데 a 는 샘플 추출을 할 데이터를 말하며 size 는 한 번에 추출할 샘플의 크기 replace 는 True일 경우 복원 추출이며 기본값이 True이다. p 는 데이터 내의 원소들이 각각 추출될 확률이다. 기본값은 모두 같은 확률. aa_milne_arr = ['pooh', 'rabbit', 'pigl.. 공감수 0 댓글수 0 2023. 2. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.