Exerciții și probleme propuse

1 Elemente de simulare

Exercițiul 1.1 (Repartiția normală - metoda respingerii 2) Plecând cu o propunere de tip Cauchy \(C(0, 1)\) vrem să generăm, cu ajutorul metodei acceptării-respingerii, un eșantion de volum \(n\) dintr-o populație normală standard. Descrieți metoda și algoritmul aferent.

Exercițiul 1.2 (Sumă de două uniforme independente) Fie \(X_1\) și \(X_2\) două variabile aleatoare independente repartizate \(\mathcal{U}([0,1])\). Determinați repartiția variabilei aleatoare \(U =X_1 + X_2\).

Exercițiul 1.3 (Exemplu de simulare repartiția Uniformă) Fie \(X_1\) și \(X_2\) două variabile aleatoare independente repartizate \(\mathrm{Exp}(\lambda)\). Arătați că variabila aleatoare \(Y=\frac{X_1}{X_1+X_2}\) este repartizată uniform \(\mathcal{U}(0,1)\).

Exercițiul 1.4 (Caracterizare repartiția Cauchy) Fie \(X\) și \(Y\) două variabile aleatoare independente repartizate \(\mathcal{N}(0,1)\). Arătați că \(\frac{X}{Y}\sim C(0,1)\).

Exercițiul 1.5 (Metodă de generare a observațiilor Poisson) Fie \((E_n)_{n\geq 1}\) un șir de variabile aleatoare independente și repartizate \(\mathcal{E}(\lambda)\).

  1. Pentru \(n\geq 1\) definim

\[ f_n(x) = e^{-\lambda x}\frac{\lambda^n x^{n-1}}{(n - 1)!}\mathbf{1}_{\{x\geq 0\}}, \quad x\in\mathbb{R.} \]

Arătați că \(f_n\) este o densitate de repartiție pentru orice \(n\geq 1\). Repartiția a cărei densitate este \(f_n\) se numește repartiția Gamma de parametrii \(n\geq 1\) și \(\lambda\) și se notează cu \(\Gamma(n, \lambda)\).

  1. Fie \(S_n = \sum_{i=1}^{n}E_i\) pentru \(n\geq 1\). Arătați că \(S_n\) este repartizată \(\Gamma(n, \lambda)\).

  2. Considerăm variabila aleatoare

\[ N = \max\{n\geq 1\,|\,S_n\leq 1\} \]

cu convenția \(N = 0\) dacă \(X_1>1\). Arătați că variabila aleatoare \(N\) este repartizată \(Pois(\lambda)\).

Exercițiul 1.6 (Caracterizare repartiția \(B(\alpha,\beta)\)) Fie \(X\) și \(Y\) două variabile aleatoare independente repartizate \(\Gamma(\alpha, a)\) și respectiv \(\Gamma(\beta, a)\). Arătați că \(\frac{X}{X+Y}\sim B(\alpha,\beta)\). Propuneți o metodă de simulare din repartiția \(B(\alpha,\beta)\) și descrieți algoritmul.

Exercițiul 1.7 Considerăm cuplul de variabile aleatoare \((X,Y)\) care este repartizat cu densitatea de repartiție \[ f(x,y) = yx^{y-1}e^{-y}\mathbf{1}_{(0,+\infty)}(y)\mathbf{1}_{(0,1)}(x) \] a) Determinați repartiția lui \(Y\) și propuneți o metodă de simulare pentru aceasta. b) Determinați densitatea condiționată a lui \(X\) la \(Y=y\) și calculați \(\mathbb{P}(X\leq x|Y=y)\). c) Propuneți o metodă de simulare pentru o observație din densitatea \(f(x,y)\) și scrieți un cod R care să permită acest lucru.

Exercițiul 1.8 Considerăm cuplul de variabile aleatoare \((X,Y)\) care este repartizat cu densitatea de repartiție \[ f(x,y) = \frac{1}{\sqrt{8\pi}}e^{-\frac{y^2x}{2}-\sqrt{x}}\mathbf{1}_{x>0}. \] a) Determinați repartiția condiționată a lui \(Y\) la \(X = x\). b) Determinați repartiția lui \(\sqrt{X}\). c) Propuneți o metodă de simulare pentru o observație din densitatea \(f(x,y)\) și scrieți un cod R care să permită acest lucru.

Exercițiul 1.9 Fie \(X\) o variabilă aleatoare cu funcția de repartiție \(F\) bijectivă.

  1. Cum putem genera cu ajutorul metodei respingerii observații din repartiția lui \(X\) condiționată la \(X>a\)? Ce se întâmplă atunci când \(a\) este mare ? Scrieți un cod R care să permită simularea unei observații din repartiția lui \(X\) condiționată la \(X>a\), unde variabila aleatoare \(X\) este repartizată \(\mathrm{Exp}(1)\) iar \(a=4\).

  2. Fie \(U\sim\mathcal{U}[0,1]\) și \(T\) definită prin

\[ T = F^{-1}\left(F(a) + (1 - F(a)) U \right). \]

Determinați funcția de repartiție a lui \(T\) și găsiți o metodă de simulare a repartiției lui \(X\) condiționată la \(X>a\). Care dintre cele două metode este de preferat ?

2 Elemente de estimare punctuală

Exercițiul 2.1 (Densitatea amplitudinii eșantionului) Fie \(X_1,X_2,\ldots,X_n\sim F\), un eșantion de volum \(n\) din populația \(F\).

  1. Să se determine funcția de repartiție a vectorului \(\left(X_{(1)}, X_{(n)}\right)\)
  2. Dacă \(F\) admite densitatea de repartiție \(f\) atunci să se determine densitatea amplitudinii eșantionului \(R_n = X_{(n)} - X_{(1)}\).

Exercițiul 2.2 Fie \(X_1,X_2,\ldots,X_n\sim F\), un eșantion de volum \(n\) din populația \(\mathcal{U}(0, 1)\).

  1. Să se determine densitatea amplitudinii eșantionului \(R_n = X_{(n)} - X_{(1)}\)
  2. Generați \(N = 10000\) de eșantioane de volum \(n=100\) din \(\mathcal{U}(0, 1)\), calculați amplitudinea eșantionului și comparați grafic (prin intermediul unei histograme) repartiția empirică cu cea teoretică.
  3. Arătați că repartiția limită a variabilei \(2n(1-R_n)\) este \(\chi^2(4)\).

Exercițiul 2.3 Fie \(X_1, X_2, \ldots, X_n\) un eșantion independent de volum \(n\) dintr-o populație de medie \(\theta\) și varianță finită \(\sigma^2\). Determinați estimatorul nedeplasat al lui \(\theta\) de varianță minimală din clasa estimatorilor de forma \(\hat{\theta}_n=\sum_{k=1}^n a_k X_k\).

Exercițiul 2.4 Fie \(X_1,\dots,X_n\) un eșantion de volum \(n\) dintr-o populație de medie \(\mu\) și varianță \(\sigma^2\). Arătați că varianța varianței eșantionului este:

\[ Var(S_n^2) = \frac{1}{n}\left(\mu_4-\frac{n-3}{n-1}\sigma^4\right) \]

unde \(\mu_4=\mathbb{E}[(X_i-\mu)^4]\) este momentul centrat de ordin \(4\). Ce revine această formulă în cazul Gaussian (normal) ?

Exercițiul 2.5 Fie \(X_1,\dots,X_n\) un eșantion de volum \(n\) dintr-o populație de medie \(\mu\) și varianță \(\sigma^2\). Arătați că

\[ Cov(\bar{X}_n,S_n^2) = \frac{\mu_3}{n} \]

unde \(\mu_3=\mathbb{E}[(X_i-\mu)^3]\) este momentul centrat de ordin \(3\). Acest rezultat ne arată că cele două statistici sunt asimptotic necorelate.

Exercițiul 2.6 Fie \(X_1, X_2, \ldots, X_n\) un eșantion de volum \(n\) dintr-o populație \(F\) cu \(\mathbb{E}[X_1^2]<\infty\).

  1. Se cere:

  1. Arătați că \(\mathbb{E}[X_1] = \underset{t\in\mathbb{R}}{\arg\min}\mathbb{E}[(X_1 - t)^2]\).

  2. Determinați \(\displaystyle\mathrm{argmin}_{t\in\mathbb{R}}\sum_{i = 1}^{n}\frac{(X_i - t)^2}{n}\).

  1. Notăm cu \(x_{\frac{1}{2}} = F^{-1}\left(\frac{1}{2}\right)\) mediana repartiției lui \(X_1\)

  1. Arătați că dacă \(F\) este continuă pe \(\mathbb{R}\) și strict crescătoare pe o vecinătate a lui \(x_{\frac{1}{2}}\) atunci \[ x_{\frac{1}{2}} = \underset{t\in\mathbb{R}}{\arg\min}\mathbb{E}[|X_1 - t|]. \]

  2. Determinați, în funcție de paritatea lui \(n\), \(\underset{t\in\mathbb{R}}{\arg\min}\sum_{i = 1}^{n}\frac{|X_i - t|}{n}\).

Exercițiul 2.7 Fie \(X_1, X_2,\ldots, X_n\) un eșantion de volum \(n\) dintr-o populație \(\mathcal{U}([0, \theta])\) cu \(\theta>0\) necunoscut.

  1. Fie \(\hat{\theta}_n = \max{\{X_1,\ldots,X_n\}}\). Determinați funcția de repartiția a lui \(\hat{\theta}_n\).

  2. Arătați că \(\hat{\theta}_n\) este un estimator consistent pentru \(\theta\).

  3. Arătați că \(\hat{\theta}_n\) nu este un estimator nedeplasat pentru \(\theta\) și construiți un asemenea estimator.

Exercițiul 2.8 Fie \(X_1,X_2,\dots,X_n\) un eșantion de talie \(n\) de lege

\[ \mathbb{P}(X=k)=\frac{\theta^k}{(1+\theta)^{k+1}} \]

unde \(\theta\) este un parametru pozitiv. Determinați estimatorii obținuți prin metoda momentelor și prin metoda verosimilității maxime și studiați proprietățile acestora.

Exercițiul 2.9 Fie \(X_1, X_2,\dots, X_n\) un eșantion de talie \(n\) dintr-o populație cu densitatea \(f_{\theta}(x)=e^{-(x-\theta)}\,,\,x\geq\theta\).

  1. Determinați estimatorul \(\tilde{\theta}\) obținut prin metoda momentelor.

  2. Determinați estimatorul \(\hat{\theta}\) obținut prin metoda verosimilității maxime.

  3. Determinați legea variabilei \(n(\hat{\theta}-\theta)\).

  4. Verificați dacă estimatorul \(\hat{\theta}\) este nedeplasat.

  5. Calculați eroarea medie pătratică a lui \(\hat{\theta}\).

  6. În cazul în care \(\theta = 2\) dorim să generăm \(3\) valori aleatoare din repartiția lui \(X\sim f_{\theta}(x)\). Pentru aceasta dispunem de trei valori rezultate din repartiția uniformă pe [0, 1] : \(u_1 = 0.25\), \(u_2 = 0.4\) și \(u_3 = 0.5\). Descrieți procedura.

Exercițiul 2.10 Fie \(X_1, X_2, \ldots, X_n\) un eșantion de volum \(n\) din populația \(f_{\theta}\) unde

\[ f_{\theta}(x) = Ae^{-\frac{x-\theta}{\theta}} \mathbf{1}_{[\theta, +\infty)}(x) \]

cu \(\theta>0\), parametru necunoscut.

  1. Determinați constanta \(A\) și repartiția lui \(\frac{X_1}{\theta}-1\).

  2. Determinați estimatorul \(\tilde{\theta}\) a lui \(\theta\) obținut prin metoda momentelor și calculați eroarea pătratică medie a acestuia.

  3. Găsiți repartiția limită a lui \(\tilde{\theta}\).

  4. Determinați estimatorul \(\hat{\theta}\) a lui \(\theta\) obținut prin metoda verosimilității maxime.

  5. Calculați eroarea pătratică medie a lui \(\hat{\theta}\) și verificați dacă estimatorul este consistent.

  6. Pe care dintre cei doi estimatori îl preferați ?

Exercițiul 2.11 Fie \(X_1, X_2, \ldots, X_n\) un eșantion de talie \(n\) dintr-o populație \(\mathcal{U}([0,\theta])\) și vrem să estimăm parametrul \(\theta>0\).

  1. Determinați prin metoda momentelor un estimator \(\hat{\theta}_1\) al lui \(\theta\).

Considerăm următorii estimatori:

\[ \hat{\theta}_2 = 2\hat{F}_n^{-1}\left(\frac{1}{2}\right) \quad \text{și} \quad \hat{\theta}_3 = \max_{1\leq i\leq n}X_i \]

unde \(\hat{F}_n^{-1}\) este funcția cuantilă (inversa generalizată) asociată funcției de repartiție empirică.

  1. Explicați ideile care au condus la propunerea estimatorilor \(\hat{\theta}_2\) și \(\hat{\theta}_3\).

  2. Determinați legile limită a estimatorilor \(\hat{\theta}_1\), \(\hat{\theta}_2\) și \(\hat{\theta}_3\). Ce puteți spune despre proprietățile acestor estimatori?

  3. Comparați performanțele celor trei estimatori.

Exercițiul 2.12 Pentru \(\theta\in\mathbb{R}\) definim funcția

\[ f_\theta(x)= \begin{cases} 1-\theta & \text { dacă }-1 / 2<x \leq 0 \\ 1+\theta & \text { dacă } 0<x \leq 1 / 2 \\ 0 & \text { altfel. } \end{cases} \] 1. Ce condiții trebuie să verifice \(\theta\) astfel încât \(f_{\theta}\) să fie o densitate de repartiție în raport cu măsura Lebesgue pe \(\mathbb{R}\)?

  1. Fie \(X_1,\ldots,X_n\) un eșantion de volum \(n\) din populația \(f_{\theta}\). Verificați dacă estimatorul de verosimilitate maximă \(\hat{\theta}_n\) a lui \(\theta\) este bine definit.

  2. Sub condițiile de la punctul 1, este \(\hat{\theta}_n\) nedeplasat ? consistent ? asimptotic normal ?

Exercițiul 2.13 Fie \(\theta>-1\) un parametru necunoscut și \(X_1, X_2, \ldots, X_n\) un eșantion de volum \(n\) din populația \(f_{\theta}\) cu

\[ f_{\theta}(x) = ax^{\theta}\mathbf{1}_{(0,1)}(x). \]

  1. Determinați \(a\). Pentru \(\theta = 2\) dorim să generăm \(3\) valori aleatoare din repartiția lui \(X\sim f_{\theta}(x)\). Pentru aceasta dispunem de trei valori rezultate din repartiția uniformă pe [0, 1] : \(u_1 = 0.479\), \(u_2 = 0.178\) și \(u_3 = 0.659\). Descrieți procedura și scrieți un cod R care să permită acest lucru.

  2. Determinați repartiția variabilei \(Y=-\log(X)\) și calculați \(\mathbb{E}[Y]\) și \(Var(Y)\).

  3. Determinați estimatorul de verosimilitate maximă \(\hat{\theta}_n\) și verificați dacă este consistent și asimptotic normal.

  4. Este estimatorul \(\hat{\theta}_n\) asimptotic eficient ?

  5. Calculați deplasarea \(b_{\theta}(\hat{\theta}_n)\).