배꼽파, 오늘도 배꼽 대신 데이터를 판다

분석 결과를 Streamlit 대시보드로 연결한 과정사전·사후 설문 분석 결과를 보고서로만 남기지 않고, 회차·직무·엑셀 사용 경력 기준으로 바로 확인할 수 있는 Streamlit 대시보드로 재구성했다. 핵심은 분석 결과를 운영자가 바로 볼 수 있는 화면으로 바꾸는 것이었다. 들어가며1편에서는 사전·사후 설문 데이터를 매칭하고, 통계 검증을 통해 교육 효과를 확인한 과정을 정리했다. https://programming-bellybutton.tistory.com/257 교육 효과 분석: 대응표본 t-test로 검증한 교육 전후 변화교육 만족도만으로는 부족했다사전·사후 설문 데이터로 교육 효과를 검증한 과정만족도 평균만 보던 교육 운영 데이터를, 사전·사후 설문 매칭과 통계 검증으로 다시 해석해 “실제로 교..

오늘은 실제 기업 과제를 진행하면서 홈페이지 데이터를 스크래핑했던 경험을 정리해보려고 한다.과제 자체가 “크롤링”이 주제는 아니었지만, 과제를 수행하려면 회사 홈페이지에 있는 데이터를 수집해야 했다.그래서 필요한 범위 안에서 스크래핑을 진행했다. 이번 작업에서는 Selenium 같은 브라우저 자동화 도구 대신 requests + BeautifulSoup 조합을 사용했다.이유는 간단했다. 사이트를 확인해보니 자바스크립트 렌더링이나 복잡한 사용자 인터랙션 없이도 필요한 정보가 HTML에 그대로 들어 있었기 때문이다.즉, 굳이 무거운 자동화 브라우저를 띄울 필요가 없었다.1. 먼저 홈페이지부터 살펴보기https://leviyonghun.com/ 김용훈 그로스 연구소 그로스해킹 및 마케팅 컨설팅그로스해킹, 그로..

1. 데이터 수집이란1) 데이터 수집필요성현대 사회 경쟁력 확보 핵심 자원맞춤형 서비스, 마케팅, 연구, 헬스케어 등 다양한 활용단순 기록이 아니라 가치 창출의 출발점정의단순히 데이터를 모으는 행위를 넘어, 수집된 데이터를 분석에 적합한 형태로 준비하는 과정2) 데이터 수집의 어려움정확성 문제: 형식적 오류, 의미적 오류데이터 사일로(data silo) 현상: 기업이나 조직 내에서 부서별로 데이터를 각자 관리하면서 서로 데이터를 공유하지 않고 고립된 상태수집 과정 자체의 복잡성3) 좋은 데이터의 조건신뢰할 수 있는 결과를 도출하기 위해서는 충분한 데이터의 양 뿐만 아니라 품질이 중요ISO 8000: 정확성, 완전성, 일관성, 유효성, 적시성, 상호운영성정확성데이터가 실제 현실을 얼마나 정확하게 반영하고..

1. 파이썬 문법 요소2. 함수형 프로그래밍1. 파이썬 문법 요소1) 언패킹정의: 시퀀스(리스트, 튜플, 문자열 등)의 요소를 개별 변수로 나누어 할당.문법 형식변수1, 변수2, ..., 변수n = 시퀀스변수1, 변수2, *변수n = 시퀀스 # 확장 언패킹활용:함수 반환값 여러 개를 동시에 할당 가능나머지 값들을 *로 묶어 처리 가능# 기본 언패킹x, y = (3, 7)print(x, y) # 3 7# 리스트 언패킹r, g, b = [120, 200, 150]print(r, g, b) # 120 200 150# 확장 언패킹first, *middle, last = [1, 2, 3, 4, 5]print(first, middle, last) # 1 [2, 3, 4] 5 2) 언더스코어 의미: 특별..

1. 리스트와 딕셔너리2. 데이터 입출력1. 리스트와 딕셔너리1) 리스트 슬라이싱리스트의 특정 구간을 추출하거나 역순으로 가져올 수 있음.부분 리스트 추출: [시작:끝:간격]끝 인덱스는 포함하지 않음음수 인덱스 사용 가능 (역순 추출)다차원 리스트에도 적용 가능nums = [10, 20, 30, 40, 50, 60]print(nums[1:4]) # [20, 30, 40] → 1~3번 인덱스print(nums[:3]) # [10, 20, 30] → 처음부터 3개print(nums[::2]) # [10, 30, 50] → 2칸 간격print(nums[::-1]) # [60, 50, 40, 30, 20, 10] → 역순2) 리스트 컴프리헨션반복문과 조건문을 한 줄에 표현기존 리스트..

1. 데이터 분석의 이해2. 데이터 분석 과정3. 데이터의 분류4. 오픈소스 환경1. 데이터 분석의 이해1) 데이터와 정보데이터: 관찰이나 측정을 통해 얻어진 사실정보: 데이터를 목적에 맞게 분석 ·가공하여 의미를 도출한 것.데이터를 수집하여 정리하거나 요약하는 과정에서 정보가 만들어지며, 이 정보는 의사결정, 문제해결, 정책 수립 등 다양한 분야에서 활용된다. 2) 데이터 분석의 정의데이터 분석(Data Analysis, DA): 데이터에 숨겨진 의미를 발견하고 인사이트를 도출하는 일련의 과정. 데이터를 정보로 가공4단계로 구분 설명적 분석 (decriptive analytics)· 과거와 현재 데이터를 요약하여 무엇이 발생했는지 파악하는 것을 목표로 함.· 가장 기초적인 분석 형태로 매출 데이터로 월..

부트캠프 코딩테스트 중에 굉장히 쉬운 문제였지만 함수이름을 까먹다가 헤맨 문제이다. 양심적으로 이 문제는 맞았어야 했다. 문제 대문자와 소문자가 섞인 문장이 입력되면 모든 알파벳을 대문자로 변환하여 출력한다. 만약 모든 문자가 대문자이면 대문자가 그대로 출력됨. 입출력 예시 입력 출력 I WANNA Be rich! I WANNA BE RICH! curious CAT CURIOUS CAT WE ARE THE WORLD WE ARE THE WORLD 풀이 toUpperCase() 함수를 사용하여 대문자로 변환 function converting(input) { var anwer = ""; // 입력받은 문자열을 대문자로 변환 answer = input.toUpperCase() return answer; } ..

TKinterhttps://docs.python.org/3/library/tkinter.html tkinter — Python interface to Tcl/TkSource code: Lib/tkinter/__init__.py The tkinter package (“Tk interface”) is the standard Python interface to the Tcl/Tk GUI toolkit. Both Tk and tkinter are available on most Unix platforms, inclu...docs.python.orgPython의 표준 GUI 라이브러리 TK + interface의 줄인말로, '티케이인터', '티큰터'라고 부름. 여기서 Tk는 Toolkit을 의미하며 스크립트 언어..

HTML 삽입 미리보기할 수 없는 소스 HTML 삽입 미리보기할 수 없는 소스 시각화의 두 가지 목적 1. 시각화는 분석에 도움을 줌. 2. 리포팅에 도움이 된다. · 그래프는 패턴을 발견하기 쉬워서 의사결정에 도움이 됨. · 시각화를 하면 보이지 않는 문제들이 보이기 시작함. ex. 데이터 하나만 동떨어져 있는 경우(이상점, outlier) → 심층 분석 · 리포팅 : 데이터에 대해 보고하는 것 · 숫자 정보만 있으면 직관적으로 이해가 되지 않음. · 예뻐서 집중해서 쳐다보므로 커뮤니케이션에 도움이 됨. 선그래프 x축에는 보통 시간과 관련된 값이 들어감. 문자에 대해서 그래프를 그리려고 하면 오류가 발생함. %matplotlib inline import pandas as pd df = pd.read_c..

HTML 삽입 미리보기할 수 없는 소스 HTML 삽입 미리보기할 수 없는 소스 추상화 · 프로그래머들이 특정 코드를 사용할 때 필수적인 정보를 제외한 세부사항을 가리는 것 · 변수, 함수, 클래스도 추상화의 예시임. - 변수의 값을 한번 설정하면 그 이후에 값을 몰라도 변수 이름만 알면 되기 떄문임. - 함수는 구현내용을 알지 못해도 파라미터만 잘 넣어주면 호출해서 사용할 수 있음. - 클래스 내부 내용을 몰라도 사용방법만 알면 사용할 수 있음. · 추상화 잘하는 방법 - 클래스, 변수, 메소드 이름을 그 의미가 잘 담기도록 지어라. - 반복적으로 사용되는 코드는 최대한 변수, 함수, 또는 클래스로 만들어서 효율성을 높인다. 문서화(docstring) 문서화 문자열(documentation string)..