(a) Basbytesmatrisen är
$$
Q=\begin{pmatrix}
\frac1{\sqrt3}&\frac2{\sqrt6}&0\\
\frac1{\sqrt3}&-\frac1{\sqrt6}&\frac1{\sqrt2}\\
\frac1{\sqrt3}&-\frac1{\sqrt6}&-\frac1{\sqrt2}
\end{pmatrix}.
$$
En direkt uträkning ger att $Q^{T}Q=E$, så $Q$ är ortogonal. Vidare får vi
$$
\det(Q)=\frac16
\begin{vmatrix}
1&2&0\\
1&-1&1\\
1&-1&-1
\end{vmatrix}
=\frac16
\begin{vmatrix}
1&2&0\\
1&-1&1\\
2&-2&0
\end{vmatrix}
=-\frac16\begin{vmatrix}1&2\\2&-2\end{vmatrix}=1>0,
$$
så basen är positivt orienterad.
(b) Avbildningsmatrisen $A'$ för $F$ i den nya basen är
$$
A'=\begin{pmatrix}
1&0&0\\
0&\cos(\pi)&-\sin(\pi)\\
0&\sin(\pi)&\cos(\pi)
\end{pmatrix}
=\begin{pmatrix}
1&0&0\\
0&-1&0\\
0&0&-1
\end{pmatrix}.
$$
Sambandet mellan $A'$ och avbildningsmatrisen $A$ i standardbasen ges av $A'=Q^{-1}AQ$, så den sökta avbildningsmatrisen är
$$
A=QA'Q^{-1}=QA'Q^T
=\frac13\begin{pmatrix}
-1&2&2\\
2&-1&2\\
2&2&-1
\end{pmatrix}.$$