,

จากสมการ $\cos 2A +3\cos2B =-2$ ใช้สูตร $\cos2x = 2\cos^2 x -1$ เพื่อลดขนาดมุมลงให้เหลือแค่ $\cos A$ กับ $\cos B$

\begin{eqnarray*}
\cos2A+3\cos2B & = & -2\\
\left(2\cos^{2}A-1\right)+3\left(2\cos^{2}B-1\right) & = & -2\\
2\cos^{2}A-1+6\cos^{2}B-3 & = & -2\\
2\cos^{2}A+6\cos^{2}B & = & -2+3+1\\
2\cos^{2}A+6\cos^{2}B & = & 2\\
\cos^{2}A+3\cos^{2}B & = & 1\qquad \cdots(1)
\end{eqnarray*}

จากนั้นนำสมการ  $\cos A-\sqrt{2}\cos B = 0$ มาหาค่า $\cos A$ ในเทอมของ $\cos B$ แทนลงไปในสมการ $(1)$

\begin{eqnarray*}
\cos A-\sqrt{2}\cos B & = & 0\\
\cos A & = & \sqrt{2}\cos B\qquad\cdots(2)
\end{eqnarray*}

แทนค่า $\cos A = \sqrt2\cos B$ ลงใน $(1)$

\begin{eqnarray*}
\cos^{2}A+3\cos^{2}B & = & 1\\
\left(\sqrt{2}\cos B\right)^{2}+3\cos^{2}B & = & 1\\
2\cos^{2}B+3\cos^{2}B & = & 1\\
5\cos^{2}B & = & 1
\end{eqnarray*}

คำนวณค่า $\cos^2B$ ซึ่งจะต้องมีค่าเป็นบวก เพราะโจทย์บอกว่า ทั้ง $B$ เป็นมุมแหลม

\begin{eqnarray*}
5\cos^{2}B & = & 1\\
\cos^{2}B & = & \frac{1}{5}\\
\cos B & = & \pm\sqrt{\frac{1}{5}}\\
\cos B & = & \pm\frac{1}{\sqrt{5}}
\end{eqnarray*}

ดังนั้นเราจึงได้ว่า $\cos B = \frac{1}{\sqrt5}$  นำไปแทนค่าลงใน $(2)$ เพื่อหาค่า $\cos A$ 

\begin{eqnarray*}
\cos A & = & \sqrt{2}\cos B\\
\cos A & = & \sqrt{2}\left(\frac{1}{\sqrt{5}}\right)\\
\cos A & = & \frac{\sqrt{2}}{\sqrt{5}}
\end{eqnarray*}

ดังนั้น $\cos A = \frac{\sqrt2}{\sqrt5}$

,

จากที่เราทราบว่า $\cos A = \frac{\sqrt2}{\sqrt5}$ และ $\cos B = \frac{1}{\sqrt5}$ เรานำมาคำนวณค่า $\sin A$ กับ $\sin B$ โดยใช้สูตรปีทาโกรัสของตรีโกณ $\sin^2x+\cos^2x=1$ จะได้

\begin{eqnarray*}
\sin^{2}A+\cos^{2}A & = & 1\\
\sin^{2}A+\left(\frac{1}{\sqrt{5}}\right)^{2} & = & 1\\
\sin^{2}A & = & 1-\left(\frac{1}{\sqrt{5}}\right)^{2}\\
\sin^{2}A & = & \frac{5}{5}-\frac{1}{5}\\
\sin^{2}A & = & \frac{4}{5}\\
\sin^{2}A & = & \pm\frac{2}{\sqrt{5}}
\end{eqnarray*}

เนื่องจาก $A$ เป็นมุมแหลม เราจึงทราบว่าค่า $\sin A>0$ ดังนั้น $\sin A = \frac{2}{\sqrt5}$

ทำนองเดียวกัน 

\begin{eqnarray*}
\sin^{2}B+\cos^{2}B & = & 1\\
\sin^{2}B+\left(\frac{\sqrt{2}}{\sqrt{5}}\right)^{2} & = & 1\\
\sin^{2}B & = & 1-\frac{2}{5}\\
\sin^{2}B & = & \frac{3}{5}\\
\sin B & = & \pm\frac{\sqrt{3}}{\sqrt{5}}
\end{eqnarray*}

ในลักษณะเดียวกัน $\sin B>0$ เพราะ $B$ เป็นมุมแหลม ดังนั้น $\sin B = \frac{\sqrt3}{\sqrt5}$

,

จากข้อมูลในขั้นตอนที่แล้ว เราสามารถสรุปค่าตรีโกณของมุม $A$ กับ $B$ ดังนี้

\begin{eqnarray*}
\sin A & = & \frac{\sqrt{3}}{\sqrt{5}}\\
\sin B & = & \frac{2}{\sqrt{5}}\\
\cos A & = & \frac{\sqrt{2}}{\sqrt{5}}\\
\cos B & = & \frac{1}{\sqrt{5}}
\end{eqnarray*}

จากที่โจทย์กำหนดว่า $A,B$ และ $C$ เป็นมุมภายในของรูปสามเหลี่ยม เราจึงทราบว่ามุมทั้งสามรวมกันได้ $180^{\circ}$

\begin{eqnarray*}
A+B+C & = & 180^{\circ}\\
C & = & 180^{\circ}-\left(A+B\right)
\end{eqnarray*}

ดังนั้นเราจึงสามารถคำนวณค่า $\cos C$ ในรูปของมุม $A$ กับ $B$ ได้

\begin{eqnarray*}
\cos C & = & \cos\left(180^{\circ}-\left(A+B\right)\right)\\
 & = & -\cos\left(A+B\right)
\end{eqnarray*}

จากนั้นใช้สูตร $\cos$ ของผลบวกมุม $\cos (x+y) = \cos x \cos y - \sin x \sin y$

\begin{eqnarray*}
\cos C & = & -\cos\left(A+B\right)\\
 & = & -\left[\cos A\cos B-\sin A\sin B\right]\\
 & = & \sin A\sin B-\cos A\cos B
\end{eqnarray*}

แทนค่าตรีโกณของมุม $A$ กับ $B$ ลงไป จะได้

\begin{eqnarray*}
\cos C & = & \sin A\sin B-\cos A\cos B\\
 & = & \left(\frac{\sqrt{3}}{\sqrt{5}}\right)\left(\frac{2}{\sqrt{5}}\right)-\left(\frac{\sqrt{2}}{\sqrt{5}}\right)\left(\frac{1}{\sqrt{5}}\right)\\
 & = & \frac{2\sqrt{3}}{5}-\frac{\sqrt{2}}{5}\\
 & = & \frac{1}{5}\left(2\sqrt{3}-\sqrt{2}\right)
\end{eqnarray*}