당신은 주제를 찾고 있습니까 “빅 데이터 조건부 확률 – [빅데이터] 10분 수학 – 조건부확률 및 베이즈 정리“? 다음 카테고리의 웹사이트 you.experience-porthcawl.com 에서 귀하의 모든 질문에 답변해 드립니다: https://you.experience-porthcawl.com/blog/. 바로 아래에서 답을 찾을 수 있습니다. 작성자 Datarian 이(가) 작성한 기사에는 조회수 22,786회 및 좋아요 228개 개의 좋아요가 있습니다.
빅 데이터 조건부 확률 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 [빅데이터] 10분 수학 – 조건부확률 및 베이즈 정리 – 빅 데이터 조건부 확률 주제에 대한 세부정보를 참조하세요
조건부확률과 베이즈 정리 이론 설명 및 예제풀이 입니다.
빅 데이터 조건부 확률 주제에 대한 자세한 내용은 여기를 참조하세요.
[고교 조건부확률] 장바구니의 빅데이터 – 네이버 블로그
[고교 조건부확률] 장바구니의 빅데이터. 프로필. EBSMath 공식블로그. 2020. 8. … 그 비밀은 빅데이터를 활용한 … 이러한 빅데이터 분석 결과는.Source: m.blog.naver.com
Date Published: 5/4/2022
View: 6663
인공지능, 조건부 확률 – Contenta M
많은 통계 이론 중에서 특히 조건부확률 또는 베이지언확률 ( Bayesian … 그것이 보통 계산 방식으로는 다루기 어려울 정도로 많아질 때 빅데이터라고 부르기도 …
Source: magazine.contenta.co
Date Published: 4/9/2022
View: 8561
[빅데이터] 통계 확률 기초 개념 (조건부 확률, 정규분포)
[빅데이터] 통계 확률 기초 개념 (조건부 확률, 정규분포). 오프로 2019. 10. 26. 16:44. 320×100. 300×250. – 확률(Probabilities) : 특정 사건이 일어날 가능성을 0 …Source: lovefor-you.tistory.com
Date Published: 8/10/2022
View: 968
[베이즈정리와 조건부확률] 완벽정리 / 확률과통계 보고서
베이즈 정리는 확률사건 A와 B의 조건부 및 주변확률을 연결시켜주는 … 배수 및 수집 시스템의 효율적인 관리를 위해 빅데이터 시스템을 도입했다.
Source: young-brightening.tistory.com
Date Published: 11/25/2022
View: 1706
통계학 기초 _ 조건부 확률, 베이즈 정리 – Zeus Data Note
조건부 확률(The Law of Conditional Probability) 한 사건이 일어났다는 전제 하에서 다른 사건이 일어날 확률 전체 사각형이 모든 가능한 확률 공간 …
Source: zeuskwon-ds.tistory.com
Date Published: 2/27/2021
View: 7940
주제와 관련된 이미지 빅 데이터 조건부 확률
주제와 관련된 더 많은 사진을 참조하십시오 [빅데이터] 10분 수학 – 조건부확률 및 베이즈 정리. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
![[빅데이터] 10분 수학 - 조건부확률 및 베이즈 정리](https://i.ytimg.com/vi/xDD4CpdQRCk/maxresdefault.jpg)
주제에 대한 기사 평가 빅 데이터 조건부 확률
- Author: Datarian
- Views: 조회수 22,786회
- Likes: 좋아요 228개
- Date Published: 2018. 9. 14.
- Video Url link: https://www.youtube.com/watch?v=xDD4CpdQRCk
[빅데이터] 통계 확률 기초 개념 (조건부 확률, 정규분포)
반응형
– 확률(Probabilities) : 특정 사건이 일어날 가능성을 0 ~ 1 사이의 값으로 표현
– 통계(Statistics) : 데이터 수집, 처리, 분석, 활용하는 지식으로 데이터로부터 정보 도출
– 사건 : 표본공산에서 관심 대상인 부분집합
– 표본공간 : 확률 실험의 가능한 결과의 집합
1> 조건부 확률
– 사건이 발생한다는 조건 하에서 다른 사건이 발생할 확률을 의미합니다.
P(K | M) = P(K∩M) / P(M)
P(K | M) = P(K) 라는 의미는,
M 사건이 K 사건 발생에 전혀 영향이 없다는 의미로, 두 사건은 통계적으로 독립된다고 합니다.
2> 베이즈 확률 (Bayes’ Theorem)
– 사후확률을 사전확률과 가능도를 이용하여 계산 해주는 확률
베이즈 정리
3> 확률분포
– 이산형 분포 (discrete)
기대값은 각 값 * 확률을 곱한 값의 합을 의미
포아송 분포 : 단위 시간에 어떤 사건이 몇 번 발생하는지에 대한 확률 분포
– 연속형 분포 (continuous)
4> 정규분포 : 평균을 중심으로 대칭을 이루는 종모양의 연속확률분포를 의미합니다.
– 분산이 적으면 좁은 종모양
– 분산이 크면 넓게 분포된 종모양
– 표준정규분포 : 평균 0, 분산 1 정규분포
5> 중심극한정리 : 표본 수가 증가하면 정규분포를 따라가므로, 모집단의 분포를 몰라도 중심극한정리를 통해 표본평균의 검정과 추이가 가능합니다.
– 신뢰구간과 오차범위
95% 신뢰구간 95% 의미는 100번 반복해서 얻은 샘플링에서 5개는 모평균이 포함되지 않을 확률을 뜻합니다.
6> 통계적 검정
가설의 진위 여부를 판단, 증명하는 통계적인 추론 방식입니다.
– 검정 순서
가설을 설정 -> 유의수준 설정 -> 검정통계량 산출 -> 가설 기각 or 채택
귀무가설 : 일반적으로 연구에서 검증하고 통계학적 증거를 통해 증명하려는 가설
대립가설 : 일반적으로 귀무가설과 반대되는 주장하고자 하는 가설
-> 검정통계량이 기각역 안에 있으면 귀무가설을 기각 (대립가설 인정)
728×90
반응형
[베이즈정리와 조건부확률] 완벽정리 / 확률과통계 보고서
반응형
안녕하세요 저는 과학특기자전형으로 입학한 이화여대 공대생입니다
#아무도_안물어봄_
(그치만 조금이라도 더 신뢰도가 갈까싶어서요.. 적어봅니다….쭈글)
베이즈 정리는 인공지능이나 스팸메일분류 이런 데에 많이 쓰이는 수학 개념인데,
기본 개념은 ‘확률과통계’에서 배우는 것에서 기인하기 때문에
저는 이것을 고3때 확률과통계 보고서로 썻어요!!!
*제가 직접 쓴 보고서 내용이기 때문에 무단복사 해가시면 안됩니다
어차피 생기부에 적혀있는 내용이라 유사도 검사에 의해
서류평가에서 0점처리가 되니, 참고만 해주세요
1. 베이즈정리란?
Bayes(1763)가 증명한 확률에 관한 정리이자 확률변수의 조건부(conditional) 확률분포와
주변부(marginal) 확률분포를 연관 짓는 확률이론으로, 서로 배반적인(exclusive) n개 사건
A1, ···, An이
을 만족할 때, 어떤 사건 E가 일어났다는 가정에서의 조건확률(conditional probability) P(Ai|E)에 관한 정리
조건확률 P(Ai|E)를 사건 E가 일어났다는 정보를 바탕으로 구해진
사후확률(posterior probability), P(Ai)는 사전확률(prior probability)이라 한다.
#좀 더 쉽게 설명하자면
사건 A와 B가 있을 때, 사건 B가 일어난 것을 전제로 한 사건 A의 조건부 확률을 구하고 싶다고 하자.
그런데 지금 알고 있는 것은 사건 A가 일어난 것을 전제로 한 사건 B의 조건부 확률, A의 확률, B의 확률뿐이다.
그럴 때, 원래 구하고자 했던 ‘사건 B가 일어난 것을 전제로 한 사건 A의 조건부 확률’은 다음과 같이 구할 수가 있다.
2. 베이즈 정리 특징
-1975년 머피 Murphy와 체이즈 Chase에 의해 유전상담에 대한 응용이 보고되어 위험률 추정에 이용되고 있다
-사건의 원인들 중 어느 것이 얼마의 확률을 나타내는 결과를 불러일으키는 것인지 궁금 할 때,
새로운 근거가 제시될 때의 특정 확률을 계산할 때 적용된다
-해석적인 측면에서는 새로운 증거에 기반하여 과거의 정보를 향상시키거나 개선한다고 할 수 있다.
어떤 사건 A의 또 다른 사건 B에 대한 조건부 확률은 사건 B의 사건 A에 조건부 확률과 일반적으로 다르다.
그러나 이 두 확률 사이에서는 어떤 관계가 존재하는데, 바로 베이즈 정리가 이 관계를 설명하는 것이다.
베이즈 정리는 확률사건 A와 B의 조건부 및 주변확률을 연결시켜주는 것인데, 즉
이고 이고 여기서 L(A｜B)＝P(B｜A)로써 B가 주어졌을 경우에 대한 우도함수를 말한다.
*우도함수란? 어떤 표본에서 특정한 값의 집합인 확률변수 Zi(i＝1, 2, ···, n)를 고정된 모집단 모수 θ의 결합확률밀도함수(joint probability density function)로 표현한 것 / 확률 변수 Y1, Y2,,,이 확률 밀도 함수 를 갖는 모집단에서 추출되고 서로 독립이라고 가정할 때, 독립성에 의해 이들의 결합 밀도 함수는 로 주어지는데 이를 의 함수로 해석하여 일컫는 말
위의 식에서 각각의 항은 일반적으로 쓰이는 명칭을 갖고 있는데,－P(A)는 A에 대한 사전확률(prior probability) 혹은 주변확률(marginal probability)이라 하며, 여기서 사전(prior)이라 함은 사건 B가 영향을 미치지 않은 상태를 말한다. P(A｜B)는 사건 B가 발생할 때의 A의 조건부 확률로써, 사후확률(posterior probability)이라 하는데, 이는 P(A｜B)가 사건 B에 대한 구체적인 정보에 의존하기 때문이다. P(B｜A)는 사건 A에 대한 B의 조건부 확률이며, P(B)는 사건 B에 대한 사전 혹은 주변확률로써, P(A｜B)의 확률값을 한정(normalizing)시키는 역할을 한다. 이와 같은 용어를 이용하면, 베이즈 정리는 다음과 같은 형태로 이해할 수 있다. 즉
으로 표현되므로, 사후확률은 관측자료에 의한 우도함수와 사전확률의 곱으로 나타난다. 베이즈 정리는 지구물리탐사 자료의 베이지안 역산에 이용되는 기본 이론으로, 야외 탐사 자료에 대한 모델링은 우도함수로, 해석 대상 변수에 대한 사전 정보는 사전확률로 치환하여 이해할 수 있다.
3. 베이즈 정리 쉬운 예제
Q. 3개의 생산라인을 갖고 있는 공장에서 1번 라인에서 전체 생산품의 30%, 2번 라인에서 50%, 3번 라인에서 20%가 만들어진다. 각 라인에서 나오는 불량품은 2%, 6%, 1%라고 한다. 이 회사제품 중 임의로 하나를 추출한 제품이 불량일 때, 이 제품이 2번 라인에서 생산되었을 확률은?
A(풀이) : 임의로 추출한 제품이 불량품일 사건을 B라고 한다. 그럼, P(BlA1)=0.02, P(BlA2)=0.06, P(BlA3)=0.01이다. 또한 문제로부터, P(A1)=0.3, P(A2)=0.5, P(A3)=0.2를 알 수 있다. 이렇게 문제로부터 알 수 있는 정보들을 확률(수학적)로 표현해주는 것이 먼저이다. 이제 구해야 하는 것? 바로, P(A2lB)
따라서 답은 0.789가 된다.
4. 베이즈 정리 두 가지 맥락
ㄱ.역확률 문제
베이즈 정리는 앞의 정의에서 알 수 있듯, 본래 역확률(inverse probability) 문제를 해결하기 위한 방법이었다. 즉, 조건부 확률 P(B∣A)를 알고 있을 때, 전제와 관심 사건이 관계가 정반대인 조건부 확률 P(A∣B)을 구하는 방법이었다.
ㄴ. 데이터를 이용한 사후확률의 추정
하지만 베이즈 정리를 이전의 경험과 현재의 증거를 토대로 어떤 사건의 확률을 추론하는 알고리즘으로 보고 관심을 가지는 사람들도 있었다. 이 때는 어떤 사건이 일어날 확률에 대한 임의의 가정 P(A)에 실제로 발견된 자료나 증거 B를 반영해서, 자료로 미루어보아 어떤 사건이 일어날 확률 P(A∣B)을 구하는 것이 관심의 대상이 된다.
5. 용어 정리
*새로운 자료가 없는 상태에서 어떤 사건이 일어날 확률에 대한 가정: 사전 확률
*사건이 일어났다는 가정 하에서 새로이 가지게 된 자료가 관측될 확률: 가능도(likelihood)
*사전확률과 가능도를 이용해서 새롭게 계산한, ‘(새로운 자료로 미루어보아 새롭게 판단한) 어떤 사건이 일어날 확률’을 사후 확률(posterior probability)이라고 한다.
베이즈 정리의 분모에 해당하는 부분은 가능도를 구할 때 조건으로 걸린 사건(위의 예의 경우,
(실제 병의 유무와는 상관 없이) ‘양성 판정이 나올 확률’)의 확률이다. 기능적으로는 사후 확률이 확률의 정의(0 이상 1 이하여야 한다)를 충족시키도록 사전확률과 가능도의 곱을 보정해주는 역할을 한다.
위와 같은 예에서는 쉽게 계산할 수 있고 엄밀하게 사후확률을 구하려면 반드시 필요한 부분이지만,
실제로 생각보다 계산이 까다로울 경우 등식을 비례 관계로 바꾸고 생략할 수도 있다.
6. 크롬웰의 법칙
토머스 베이즈는 확률에 기초한 사고도 합리적이라고 주장했다.
베이즈 정리에는 우리가 우주에 대해 점점 더 많은 정보를 모을수록 우주의 진리에 대해 한 걸음 더 가까이 다가갈 수 있다는 그의 수학적, 철학적 관점이 반영되어 있다고 보아도 좋다. 참고로 어떤 사건에 대한 사전확률이 0이나 1이라면 베이즈 정리에 따라 사후확률도 0이나 1으로 고정되게 된다. 따라서 사전확률이 0과 1 이외의 값이 되어야만 반증이 존재할 시 이를 받아들여서 사후확률을 업데이트하는 것이 가능하다. 이를 다룬 법칙이 크롬웰의 법칙이다.
7. 활용
활용 -1. 베이즈통계학
베이즈 통계학은 쉽게 말해 사후 확률을 추론하는 방식인 베이즈 정리를 이용해 통계학의 문제에 접근하는 흐름을 일컫는다. 자신이 가지고 있던 기존의 믿음(가설, 모형, …)에 자료를 반영해서 더 새로운 것으로 만든다는 아이디어는 심플해 보이지만, 베이즈 정리는 확률이나 추정에 대한 관점이 기존의 통계학과 많이 달라서 이를 비판적으로 바라보는 사람들도 많았다. 하지만 이보다도 치명적인 장애물은, 사후분포를 사람의 손으로는 계산하기 쉽지 않은 케이스들이 많다는 것이었다. 만약 사전분포와 가능도가 특정한 짝을 이루고 있다면, 이로부터 추출되는 사후분포는 사전분포와 동일한 형태를 가지는데, 이러한 사전분포를 공액사전분포 또는 켤레사전분포(conjugate prior)라 한다. 예를 들어, 사전분포와 가능도가 모두 정규분포를 따른다면 사후분포는 사전분포와 동일한 정규분포가 된다. 또, 사전분포와 가능도가 각각 베타분포와 이항분포(또는 이것의 특수한 사례로서의 베르누이 분포)를 따른다면, 사후분포는 사전분포와 동일한 베타분포가 된다. 이러한 분포들 사이의 관계는 베이즈 통계학을 본격적으로 배우게 되면 가장 먼저 접하게 되는 내용이다. 이러한 경우에는 정해진 업데이트 공식을 계산하면 쉽게 사후분포를 유도할 수 있기 때문에, 베이즈 통계학의 아이디어가 발견된 이후로 줄곧 사용되어 왔다. 하지만 현실에서 발생하는 데이터들은 항상 이렇게 사전분포와 가능도가 잘 매칭되지 않는 경우가 대부분이라는 것이 문제였다. 이런 경우에는 사람의 손으로 직접 사후분포를 계산하기에는 어려움이 너무 커서, 베이즈 통계학을 현실에서 활용하기에 많은 무리가 따랐다. 하지만 최근 컴퓨터의 계산 능력이 급증하고, 더불어 사후 확률의 계산을 몬테 카를로 방법 혹은 변분법을 이용한 Variational inference같은 기법으로 해낼 수 있다는 것이 밝혀지면서, 베이즈주의의 관점에서 데이터를 분석하는 것이 훨씬 쉽게 되었다.
활용-2 인지과학 및 인공지능에서의 베이즈정리
심리학, 신경과학, 인지과학, 인공지능, 기계학습 등의 분야에서는 베이즈 정리가 바로 인간이 생각하고 판단하는 근본적인 방식일 수도 있겠다고 보는 이론적인 흐름을 낳기도 했다. 즉, 인간의 사고는 처음에는 아무 정보가 없던 상태에서 새로운 정보를 받아들이고, 이를 통해 자신이 가지고 있던 일종의 사전 확률 체계를 업데이트시켜 세상을 해석하거나 판단을 내리고 의사결정을 하는 방향으로 발전되어 왔다는 것이다. 그리고 이렇게 발전된 사후 확률 체계는 새로운 사전 확률이 되어, 새로운 정보가 유입될 때마다 업데이트를 반복해간다. 심리학, 신경과학 등 인지과학의 여러 분야에서는 인간의 뇌나 마음이 정보를 처리하는 방식이 베이즈 정리를 닮아있다는 가설을 실험이나 모델링을 통해 검증하기도 하고, 인공지능 및 기계학습 분야에서는 베이즈 정리를 기초로 하는 기법들을 많이 발전시켜 왔다.
활용-3 환경
지능형운영센터에는 교통, 전력, 홍수, 산사태 등의 자연재해와 수자원 등을 통합 관리할 수 있는 체계가 갖춰져 있는데, 여기에는 IBM의 분석 솔루션이 적용돼 비상사태를 효과적으로 예측하고 대응할 수 있도록 한다. IBM이 제공한 고해상도 날씨 예측 시스템과 수문학적 모델링 시스템은 날씨 및 수문 관련 방대한 데이터를 분석해 폭우를 48시간 이전에 예측한다. 강 유역의 지형측량 자료와 강수량 통계, 레이더사진 등의 데이터에서 추출한 통합 수학적 모델에 기초해 강수량과 갑작스런 홍수를 예측한다. 뿐만 아니라 강수량과 교통체증, 정전 사태 등 도시에 영향을 미치는 상황들도 평가한다.
미국 워싱턴DC의 상하수도를 관리하고 있는 디씨 워터(DC Water)는 배수 및 수집 시스템의 효율적인 관리를 위해 빅데이터 시스템을 도입했다. 예측 분석 시스템을 통해 배수관과 밸브, 공공 수도전, 수집관, 맨홀 및 계량기 등의 자산을 효율적으로 관리할 수 있게 된 것이다. 이를 통해 직원들은 상세한 지도에서 회사 자산의 위치와 상태를 확인하고, 자산 내역과 총 자산 비용, 각 지역의 문제점, 문제 유형 및 지역별 수질 문제에 신속하게 접근하고 있다. 특히 디씨 워터는 예측 분석을 통해 서비스 중단을 예방하고 서비스 수요를 기반으로 새로운 비율 모델을 구축할 수 있었다. 또한 향상된 예방 관리와 자동 검침으로 고객 전화가 36%나 줄었고, 프로세스를 간소화시켜 10분 이내에 신속하게 처리해야 하는 업무를 기존 49%에서 93%까지 늘렸다.
마지막으로, 베이즈통계학과 베이즈정리 포스팅은 제가 자료를 다 찾아보고 그걸 다 합친게 아마 윗글이라고 생각합니다
내용 자체가 어렵지만 최대한 간단하게 풀어쓰려고 노력하였습니다
내용 이해 안가시는 분들을 위해 가장 간단하게 요약하자면, 베이즈정리는 사전확률의 가능도를 갱신하여 사후확률이 간단해진다는 특성이 있고 이 특성 때문에 인공지능이나 스팸메일 분류 등에 쓰인다고 할 수 있습니다.
참고문헌: 네이버지식백과, 나무위키
이외에도 많은 보고서 글들은 [입시]-학생부종합전형 카테고리 참고
대한민국의 모든 수험생들을 응원합니다 ʕتʔ
이 글의 저작권은 필자에게 있으며,
허가 없이 일부만을 발췌하더라도
법적인 제재를 받을 수 있음을 밝힙니다.
Copyright ⓒ 2022 All rights reserved by @young_claudialee.
All pictures and contents cannot be copied without permission.
반응형
최근 기업들은 생산량을 조정하고 유통비용을 절감하기 위해 빅데이터 분석을 적극적으로 활용하고 있다. 빅데이터 분석은 직접적인 마케팅 전략을 수립하는 데도 큰 효과가 있는데, 그 중 대표적인 방법이 고객의 구매 패턴 빅데이터를 분석해 소비자에게 관련 상품을 추천하는 것이다.
소비자들이 구입하는 상품 사이에는 일종의 상관관계가 있다. 이를 분석하는 대표적인 방법 중 하나가 연관규칙분석 알고리즘(A priori algorithm)이다.
장바구니의 빅데이터를 분석하면 고객들이 ‘한 번에 같이 사는 상품’의 목록(ex) 라면과 계란, 우유와 시리얼 등)을 만들 수 있다. 이 상품들을 샀을 때 고객이 다른 특정 상품도 자주 산다면 상품들 사이에는 연관규칙이 형성된다. 쇼핑몰은 이러한 연관규칙을 바탕으로 고객에게 상품을 추천한다.
연관규칙의 발생 여부는 조건부 확률을 통해 계산한다. 조건부 확률이란 어떤 사건 A가 일어났을 때, 사건 B가 일어날 확률로, 여기선 어떤 상품 A를 구입했을 때, 다른 상품 B를 구입할 확률을 의미한다.
영상에서는 구체적인 예시와 함께 장바구니의 연관규칙 분석 알고리즘을 소개한다.
통계학 기초 _ 조건부 확률, 베이즈 정리
728×90
반응형
◎ 조건부 확률(The Law of Conditional Probability)
한 사건이 일어났다는 전제 하에서 다른 사건이 일어날 확률
전체 사각형이 모든 가능한 확률 공간이고,
A는 왼쪽 원, B는 오른쪽 원이며 그 교집합이 가운데 부분이다.
위의 식에 P(B)를 양변에 곱하면, P(A|B)P(B)=P(A∩B) 와 같은 식을 얻을 수 있으며,
이는 곧 P(A|B)=∑nP(A∩Bn)를 의미한다.
이는, B라는 정보가 주어진 상황에서 A의 확률은 B와 교집합들의 합으로 구성 되어 있다는 것을 이해 할 수 있다.
◎ 베이즈 정리
우선 베이즈 정리의 공식부터 확인해보도록 하자. 베이즈 정리의 공식은 아래 식과 같다.
사전확률은 내가 알고있는 지식으로부터 얻어진 특정 사건의 확률
사후확률은 특정 사건이 일어났을 때, 어떤 원인때문이다 라고 생각되는 확률
베이즈 정리의 대표적인 수식은 다음과 같다.
위 수식은 두 가지 사건이 존재할때 성립하고, 그보다 더 많은 사건이 존재할 때는 다음과 같이 표현할 수 있다.
식 에는 총 네 개의 확률값이 적혀져 있으며, 생김새도 거의 비슷비슷해 그냥 보기에는 의미를 파악하기가 어렵다.
네 개의 확률 값 중 P(H)P(H)와 P(H|E)P(H|E)는 각각 사전 확률, 사후 확률이라고 부르고, 베이즈 정리는 근본적으로 사전확률과 사후확률 사이의 관계를 나타내는 정리이다.
– 예시
– 약물 양성반응 예시 계산
다시 한번 정리하자면, 베이지안에서의 P(A|B)는 B라는 추가 정보를 바탕으로 한 A의 확률입니다.
TPR : T rue P ositive R ate (= 민감도, true accept rate) 1인 케이스에 대해 1로 잘 예측한 비율.(암환자를 암이라고 진단 함)
rue ositive ate (= 민감도, true accept rate) 1인 케이스에 대해 1로 잘 예측한 비율.(암환자를 암이라고 진단 함) FPR : False Positive Rate (= 1-특이도, false accept rate) 0인 케이스에 대해 1로 잘못 예측한 비율.(암환자가 아닌데 암이라고 진단 함)
이전 계산의 사후확률을 새로운 계산의 사전확률로 사용한다
[1차검증]# 베이지안 계산을 위해서는 4개의 변수가 필요합니다. p_pos_used = 0.99 # True positive rate (TPR, Sensitivity) p_used = 0.005 # prior probability p_pos_not_used = 0.01 # False positive rate (FPR) p_not_used = 1 – p_used # 1 – p_used numerator = p_pos_used * p_used denominator = (p_pos_used * p_used) + (p_pos_not_used * p_not_used) posterior_probability = numerator / denominator posterior_probability
<출력>
0.33221476510067116
[2차검증]p_pos_used = 0.99 # TPR # 1차검증 결과를 2차검증에 사용 p_used = 0.332 # prior probability p_pos_not_used = 0.01 # FPR p_not_used = 1 – p_used # 1 – p_used numerator = p_pos_used * p_used denominator = (p_pos_used * p_used) + (p_pos_not_used * p_not_used) posterior_probability = numerator / denominator posterior_probability
<출력>
0.980081106870229
– 동전 던지기 예시 with 베이지안
처음 가정 = 동전을 던졌을때 앞면이 나올 확률은 0부터 1까지 고르게 분포해있다. (사전 정보 없음)
동전을 여러번 던지면서 해당 정보를 반영하고,
이를 통해 동전을 던졌을때 앞면이 나올 확률을 점점 추정하는 과정
%matplotlib inline import matplotlib.pyplot as plt import numpy as np import scipy.stats as stats from IPython.core.pylabtools import figsize figsize(15, 9) dist = stats.beta n_trials = [0, 1, 2, 3, 4, 5, 8, 15, 50, 300, 500, 1000] data = stats.bernoulli.rvs(0.5, size = n_trials[-1]) # binomial with p(h) = 0.5 x = np.linspace(0, 1, 100) for k, N in enumerate(n_trials): sx = plt.subplot(len(n_trials) / 2, 2, k+1) plt.xlabel(“P(H)”, fontsize = 13) if k in [0, len(n_trials) – 1] else None plt.setp(sx.get_yticklabels(), visible = False) heads = data[:N].sum() y = dist.pdf(x, 1 + heads, 1 + N – heads) plt.plot(x, y, label = ‘Trial %d
Head %d Times’ % (N, heads)) plt.fill_between(x, 0, y, color = ‘#348abd’, alpha = .4) plt.vlines(0.5, 0, 4, color = ‘k’, linestyles = ‘–‘, lw = 1) leg = plt.legend() leg.get_frame().set_alpha(0.4) plt.autoscale(tight = True) plt.suptitle(‘Bayesian Update (Probability of Head)’, y = 1.02, fontsize = 14) plt.tight_layout()
– Bayesian 기반 신뢰구간 추정 (SciPy 사용)
# https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.bayes_mvs.html#scipy.stats.bayes_mvs mean_CI, _, _ = stats.bayes_mvs(coinflips, alpha = .95) # mean , variance, std # mean_cntr, var_cntr, std_cntr mean_CI # 윗 결과와 유사함
<출력>
Mean(statistic=0.35, minmax=(0.12097224312031751, 0.5790277568796824))
728×90
반응형
키워드에 대한 정보 빅 데이터 조건부 확률
다음은 Bing에서 빅 데이터 조건부 확률 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 [빅데이터] 10분 수학 – 조건부확률 및 베이즈 정리
- 조건부확률
- adsp 강의
- adsp
- adp
- adp 강의
- 데이터분석 준전문가
- 데이터분석 준전문가 강의
- 나이브베이즈
- 베이즈 정리
- python 강의
- 머신러닝 강의
- 딥러닝 강의
- 수학 강의
- 컴퓨터 수학
- 빅데이터 수학
- 10분수학
- 수학10분
- 빅데이터
- 통계분석
- 통계 강의
- 확률 강의
- 확률
- 확률이론
YouTube에서 빅 데이터 조건부 확률 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 [빅데이터] 10분 수학 – 조건부확률 및 베이즈 정리 | 빅 데이터 조건부 확률, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.