Grafos Computacionais
Revisão de geometria básica (retas)
Revisão de Algebra Linear
Revisão de Derivadas
Grafos Computacinais e derivadas parciais
Retas
1. Esboce num gráfico as seguintes retas:
a. $2x_2 + x_1 = 0$
b. $x_2 - 2x_1 + 1 = 0$
c. $x_2 - 1 = 0$
d. $x1 - 1 = 0$
a.
b.
c.
d.
2. Especifique uma reta que divide as duas categorias de itens no gráfico abaixo onde $x_1$ é o eixo das abscisas e $x_2$ é o eixo das ordenadas
resposta:
\[x_2 - \frac{x_1}{2} = 0\]3. Considere a reta $x_2 = 3 + 2x_1$. Obtenha a expressão analítica do conjunto de todas as retas paralelas e o conjunto de todas as retas perpendiculares à reta acima.
Paralelas: \(x_2 = 2x_1 + c,\ c\in \mathbb{R}\)
Perpendiculares: \(x_2 = -\frac{x_1}{2} + c,\ c\in \mathbb{R}\)
Álgebra Linear
4. Sejam $w = w_1, …, w_n$ e $x = x_1,…,x_n$ vetores coluna de dimensão $n \times 1$. Expresse $w’x$ em termos de um somatório.
resposta:
\[\sum_{i=1}^n w_ix_i\]5. Seja $x=(x_1,…,x_n)$ um vetor-coluna $n \times 1$ e $A$ uma matriz $n \times n$. $A’$ indica a matriz transposta de $A’$. Verifique que as seguintes identidades matriciais estão corretas, checando se o lado direito é igual ao lado esquerdo.
a. $x’Ax = \sum_{i,j}x_ix_jA_{ij}$
b. $x’x = \sum_ix_i^2$
c. $xx’$ é uma matriz simétrica $n \times n$ com elemento $(i,j)$ dado por $x_ix_j$
a.
Usando o somatório da questão anterior, \(x'Ax = \sum_{i,y}x_i A_{ij} x_j\) \(x'Ax = \sum_{i,y}x_i x_j A_{ij}\)
b. usando o somatório da questão anterior \(x'x = \sum_i x_{i} x'_{i}\) \(x'x = \sum_i x_i^2\)
c.
$ xx’ = \begin{bmatrix} x_1x_1 & x_1x_2 & x_1x_3 & \cdots & x_1x_n
x_2x_1 & x_2x_2 & x_2x_3 & \cdots & x_2x_n
x_3x_1 & x_3x_2 & x_3x_3 & \cdots & x_3x_n
\vdots & \vdots & \vdots & \ddots & \vdots
x_nx_1 & x_nx_2 & x_nx_3 & \cdots & x_nx_n \end{bmatrix} $
Derivada
6. Encontre a derivada $F’(x)$ de:
\[F(x) = \sqrt{x^2 + 1}\]resposta:
\[x(x^2 + 1)^{\frac{-1}{2}}\]7. Encontre a derivada $F’(x)$ de:
\(F(x)=e^{sin(x)}\)
resposta:
\[cos(x)e^{sin(x)}\]8. Função sigmóide:
\(S(x) = \frac{1}{1 + e^{-x}}\)
a. Esboce o gráfico de $S(x)$
b. Mostre que $S(-x) = 1- S(x)$
c. Calcule a derivada em termos da própria sigmoide, isto é, mostre que $S’(x) = S(x)(1-S(x))$. Esboce o gráfico da derivada.
d. Qual o valor máximo de $S’(x)$? Para qual valor de $x$ ela atinge esse máximo?
e. Considere $S(z) = \frac{1}{1+e^{-z}}$, sendo que $z = b + W_1x$ encontre $\frac{\partial S}{\partial b}$ e $\frac{\partial S}{\partial W_1}$.
f. Considere $S(h(x)) = \frac{1}{1+e^{-h(x)}}$, calcule $\frac{\partial S}{\partial x}$ em função de $h(x)$.
a.
b.
\begin{align} 1 - S(x) &= 1 - \frac{1}{1 + e^{-x}}
&= \frac{(1 + e^{-x}) - 1}{1 + e^{-x}}
&= \frac{e^{-x}}{1 + e^{-x}}
&= \frac{e^0}{e^x + e^0} \quad \text{(multiplicando em cima e em baixo por $e^x$)}
&= \frac{1}{1 + e^x}
&= \frac{1}{1 + e^{-(-x)}}
&= S(-x) \end{align}
c.
\begin{align} \frac{d}{dx} S(x) &= \frac{d}{dx} \left( \frac{1}{1 + e^{-x}} \right)
&= \frac{0 \cdot (1 + e^{-x}) - 1 \cdot \frac{d}{dx}(1 + e^{-x})}{(1 + e^{-x})^2}
&= \frac{-\frac{d}{dx}(e^{-x})}{(1 + e^{-x})^2}
&= \frac{-(-e^{-x})}{(1 + e^{-x})^2}
&= \frac{e^{-x}}{(1 + e^{-x})^2} \ \ *
&= \left( \frac{1}{1 + e^{-x}} \right) \left( \frac{e^{-x}}{1 + e^{-x}} \right)
&= S(x) \cdot (1 - S(x)). \end{align}
d.
O valor máximo é $0.25$, quando $x=0$.
e.
Para encontrar $\frac{\partial S}{\partial b}$, primeiro vamos calcular $\frac{\partial s}{\partial z}$:
\[\frac{\partial s}{\partial z} = \frac{e^{-z}}{(1 + e^{-z})^2}\]Olhe a solução de c até o * para ver a derivação completa.
Agora, vamos calcular $\frac{\partial z}{\partial b}$
\[\frac{\partial z}{\partial b} = \frac{\partial{b + w_1x}}{\partial b} = 1\]Por fim, usamos a regra da cadeia
\[\frac{e^{-(b + w_1x)}}{(1 + e^{-(b + w_1x)})^2} \cdot 1 = \frac{e^{-(b + w_1x)}}{(1 + e^{-(b + w_1x)})^2}\]para $\frac{\partial S}{\partial w_1x}$ vamos primeiro calcular $\frac{\partial s}{\partial z}$
\[\frac{\partial s}{\partial z} = \frac{e^{-z}}{(1 + e^{-z})^2}\]Agora, vamos calcular $\frac{\partial z}{\partial w_1x}$
\[\frac{\partial z}{\partial w_1x} = x\]Por fim, usamos a regra da cadeia
\[\frac{e^{-z}}{(1 + e^{-z})^2} \cdot x\]f.
Para calcular $\frac{\partial S}{\partial x}$, primeiro vamos achar $\frac{\partial S}{\partial{h(x)}}$
\[\frac{\partial S}{\partial{h(x)}} = \frac{e^{-h(x)}}{(1+e^{-h(x)})^2}\]Em seguida, vamos calcular $\frac{\partial{h(x)}}{\partial x}$
\[\frac{\partial{h(x)}}{\partial x} = h'(x)\]Por fim, aplicamos a regra da cadeia
\[\frac{e^{-h(x)}}{(1+e^{-h(x)})^2} \cdot h'(x)\]9. Suponha que você tenha dados da forma $X = (X_1, X_2,…,X_n)$, onde $X_i \in \mathbb{R}$ e que seu classificador seja da forma $\hat{Y_i} = \beta X_i$. Considerando o erro quadrático, ou seja, $L(\hat{Y}, Y) = \sum_{i=1}^n(\hat{Y_i} - Y_i)^2$, qual o valor de $\beta$ que minimiza o erro?
Para encontrar o valor mínimo da perda, devemos derivar a função em relação a $\beta$ e encontrar onde ela é igual a $0$:
\[\hat{y}_i = \beta x_i\] \[L(\hat{y}, y) = \sum_{i=1}^n (\beta x_i - y_i)^2\]Derivada da soma é a soma das derivadas:
Derivando $(\beta x_i - y_i)^2$:
\[\frac{d}{d\beta} (\beta x_i - y_i)^2 = 2(\beta x_i - y_i) \cdot x_i\]Soma das derivadas:
\[\sum_{i=1}^n 2(\beta x_i - y_i) \cdot x_i\]Para achar o valor mínimo, igualamos a $0$:
\[\sum_{i=1}^n 2(\beta x_i - y_i) \cdot x_i = 0\]Simplificando: \(\sum_{i=1}^n (\beta x_i - y_i) \cdot x_i = 0 \quad \text{(dividindo por 2)}\)
\[\sum_{i=1}^n \beta x_i^2 - \sum_{i=1}^n y_i x_i = 0\] \[\beta \sum_{i=1}^n x_i^2 = \sum_{i=1}^n y_i x_i\] \[\beta = \frac{\sum_{i=1}^n y_i x_i}{\sum_{i=1}^n x_i^2}\]
Grafos Computacionais
10. Seja $f(x, y, z) = (x+y)z$. Podemos quebrar essa função nas equações $q=x+y$ e $f(x,y,z)=qz$. Utilizando essa notação, nós também podemos representar essas equações por meio de um grafo computacional:
a. Calcule de forma simbólica (sem plugar os valores para as variáveis) as derivadas parciais:
- $\frac{\partial f}{\partial q}$
- $\frac{\partial q}{\partial x}$
- $\frac{\partial q}{\partial y}$
- $\frac{\partial f}{\partial z}$
- $\frac{\partial f}{\partial x}$
$\frac{\partial f}{\partial y}$
$ \frac{\partial f}{\partial q} = \frac{\partial (q \cdot z)}{\partial q} = z $
- $ \frac{\partial q}{\partial x} = \frac{\partial (x + y)}{\partial x} = 1 $
Regra: $ \frac{\partial (a + b)}{\partial a} = \frac{\partial a}{\partial a} + \frac{\partial b}{\partial a} \to 1 + 0 = 1 $
$ \frac{\partial q}{\partial y} = 1 \quad \text{(mesma regra da anterior)} $
$ \frac{\partial f}{\partial z} = \frac{\partial (q \cdot z)}{\partial z} = q $
$ \frac{\partial f}{\partial x} = \frac{\partial f}{\partial q} \cdot \frac{\partial q}{\partial x} \quad \text{(regra da cadeia)} \to z \cdot 1 = z $
- $ \frac{\partial f}{\partial y} = \frac{\partial f}{\partial q} \cdot \frac{\partial q}{\partial y} \quad \text{(regra da cadeia)} \to z \cdot 1 = z $
b. Preencha o grafo computacional para $x=-2, y=5, z=-4$ e $\frac{\partial L}{\partial f} = 1$
\[\frac{\partial f}{\partial q} = z = -4\]$ \frac{\partial q}{\partial x} = 1 $
$ \frac{\partial q}{\partial y} = 1 $
$ \frac{\partial f}{\partial z} = q = (x + y) = -2 + 5 = 3 $
$ \frac{\partial f}{\partial x} = z = -4 $
$ \frac{\partial f}{\partial y} = z = -4 $
#In: