京大特色4番解答
解法1
i) 三角形$\mathrm{PQR}$の定める平面と四面体$\mathrm{ABCD}$の共通部分が，
辺上にある3点を頂点とする三角形であるとき．
三角形 $ \mathrm{PQR} $ はこの三角形に含まれる．
よって，題意を示すために3点 $ \mathrm{P，Q，R} $ は四面体 $ \mathrm{ABCD} $ の辺上にあるとしてよい．
2点 $ \mathrm{Q，R} $ を固定し，点 $ \mathrm{P} $ を辺を含む直線上を動かす．
点 $ \mathrm{P} $ の位置ベクトルは， $ \overrightarrow{a}t+\overrightarrow{b} $ と媒介変数 $ t $ の一次式で表される．
三角形 $ \mathrm{PQR} $ の面積は
$
\dfrac{1}{2}\sqrt{\left|\overrightarrow{\mathrm{RP}}\right|^2\left|\overrightarrow{\mathrm{RQ}}\right|^2
-\left(\overrightarrow{\mathrm{RP}}\cdot \overrightarrow{\mathrm{RQ}}\right)^2}
$
である．根号内は $ t $ の2次式となる．
実数 $ t $ に対して根号内は負とならないので $ t^2 $ の係数は正である．
点 $ \mathrm{P} $ が辺上を動くとき， $ t $ はある区間を動く．
$ t^2 $ の係数が正の2次関数はこの区間のいずれかの境界で最大となる．
つまり，三角形 $ \mathrm{PQR} $ の面積は点 $ \mathrm{P} $ が頂点に来たときの値でおさえられる．
点 $ \mathrm{P} $ をその頂点に置き，次に点 $ \mathrm{Q} $ を動かす．同様に考え，
面積は点 $ \mathrm{Q} $ が頂点に来たときの値でおさえられる．さらに点 $ \mathrm{R} $ を動かす．
面積は点 $ \mathrm{R} $ が頂点に来たときの値でおさえられる．
従って，三角形 $ \mathrm{PQR} $ の面積は3点 $ \mathrm{P}，\mathrm{Q}，\mathrm{R} $ が頂点にあるときの面積でおさえられる．
つまり，四面体 $ \mathrm{ABCD} $ の4つの面の面積のうち最大のものを超えないことが示された．
※ $ t^2 $ の係数が正であることは，次のことからも分かる．
$ \overrightarrow{\mathrm{RP}}=(x_1,\ y_1,\ z_1) $ ， $ \overrightarrow{\mathrm{RQ}}=(x_2,\ y_2,\ z_2) $ とおくと，
\begin{eqnarray*}
&&\left|\overrightarrow{\mathrm{RP}}\right|^2\left|\overrightarrow{\mathrm{RQ}}\right|^2
-\left(\overrightarrow{\mathrm{RP}}\cdot \overrightarrow{\mathrm{RQ}}\right)^2\\
&=&\left({x_1}^2+{y_1}^2+{z_1}^2\right)\left({x_2}^2+{y_2}^2+{z_2}^2\right)
-(x_1x_2+y_1y_2+z_1z_2)^2\\
&=&\left(x_1y_2-x_2y_1\right)^2+\left(y_1z_2-y_2z_1\right)^2+\left(z_1x_2-z_2x_1\right)^2
\end{eqnarray*}
ii)
三角形 $ \mathrm{PQR} $ の定める平面と四面体 $ \mathrm{ABCD} $ の共通部分が，
辺上にある4点を頂点とする四辺形であるとき．
このときこの四辺形は凸である．
一般に，凸な四辺形の内部にある三角形の面積は，
その四辺形の2つの対角線でそれぞれに四辺形を2つに分けた4つの三角形の面積の最大値を超えない．
最大値を考えるので，三角形の頂点は四辺形の辺上にあるとしてよい．
このとき，図のように，三角形の各頂点を順次面積がより大きくなる四辺形の頂点に動かすことで分かる．
よってこの場合も i) に帰着する．
解法2
四面体 $ \mathrm{ABCD} $ の面 $ \bigtriangleup \mathrm{BCD} $ 上の点 $ \mathrm{S} $ は，
$
p_1+p_2+p_3=1,\quad
p_1\geqq 0,\
p_2\geqq 0,\
p_3\geqq 0 $
である実数 $ p_1,\ p_2,\ p_3 $ を用いて，
\[
\overrightarrow{\mathrm{AS}}=
p_1\overrightarrow{\mathrm{AB}}+
p_2\overrightarrow{\mathrm{AC}}+
p_3\overrightarrow{\mathrm{AD}}
\]
と表される．したがって，四面体 $ \mathrm{ABCD} $ の面および内分にある点 $ \mathrm{P} $ は，
$ 0\leqq t \leqq 1 $ なる $ t $ を用いて
\[
\overrightarrow{\mathrm{AP}}=t\overrightarrow{\mathrm{AS}}=
tp_1\overrightarrow{\mathrm{AB}}+
tp_2\overrightarrow{\mathrm{AC}}+
tp_3\overrightarrow{\mathrm{AD}}
\]
と表される．実数 $ tp_1,\ tp_2,\ tp_3 $ を改めて実数 $ p_1,\ p_2,\ p_3 $ とすることにより，
四面体 $ \mathrm{ABCD} $ の面および内分にある点 $ \mathrm{P} $ は，
$
p_1+p_2+p_3\leqq 1,\quad
p_1\geqq 0,\
p_2\geqq 0,\
p_3\geqq 0 $
である実数 $ p_1,\ p_2,\ p_3 $ を用いて，
\[
\overrightarrow{\mathrm{AP}}=
p_1\overrightarrow{\mathrm{AB}}+
p_2\overrightarrow{\mathrm{AC}}+
p_3\overrightarrow{\mathrm{AD}}
\]
と表される．基準点 $ \mathrm{O} $ をとる．
これより，
\[
\overrightarrow{\mathrm{OP}}=
(1-p_1-p_2-p_3)\overrightarrow{\mathrm{OA}}+
p_1\overrightarrow{\mathrm{OB}}+
p_2\overrightarrow{\mathrm{OC}}+
p_3\overrightarrow{\mathrm{OD}}
\]
なので，
\[
r_1=1-p_1-p_2-p_3,\
r_2=p_1,\
r_3=p_2,\
r_4=p_3
\]
とすることにより，点 $ \mathrm{P} $ が，
四面体 $ \mathrm{ABCD} $ の面および内部にあるなら，
$ r_1+r_2+r_3+r_4=1,\
r_1\geqq 0,\
r_2\geqq 0,\
r_3\geqq 0,\
r_4\geqq 0 $
である実数 $ r_1,\ r_2,\ r_3,\ r_4 $ を用いて，
\[
\overrightarrow{\mathrm{OP}}=
r_1\overrightarrow{\mathrm{OA}}+
r_2\overrightarrow{\mathrm{OB}}+
r_3\overrightarrow{\mathrm{OC}}+
r_4\overrightarrow{\mathrm{OD}}
…①
\]
と表される．
逆にこのとき，点 $ \mathrm{P} $ が四面体
$ \mathrm{ABCD} $ の面および内部にあることは，逆にたどることで分かる．
三角形 $ \mathrm{PQR} $ は $ \mathrm{ABCD} $ の面および内部にあるので，
点 $ \mathrm{P} $ は，上記のように表される．
点 $ \mathrm{P} $ から直線 $ \mathrm{QR} $ に垂線を引き，
交点を $ \mathrm{O} $ とする．
点 $ \mathrm{O} $ を通り，直線 $ \mathrm{QR} $ に直交する平面を $ \alpha $ とする．
点 $ \mathrm{P} $ は $ \alpha $ 上にある．
4頂点
$ \mathrm{A} $ ，
$ \mathrm{B} $ ，
$ \mathrm{C} $ ，
$ \mathrm{D} $
の $ \alpha $ への正射影を
$ \mathrm{A}' $ ，
$ \mathrm{B}' $ ，
$ \mathrm{C}' $ ，
$ \mathrm{D}' $ とする．
平面 $ \alpha $ を $ xy $ 平面に，直線 $ \mathrm{QR} $ を $ z $ 軸にとる．
このとき，ベクトル $ (x_1,\ y_1,\ z_1) $ の正射影は
$ (x_1,\ y_1,\ 0) $ となる．
$ ① $ の関係は各成分で成りたつので，
平面 $ \alpha $ 上で
\[
\overrightarrow{\mathrm{OP}}=
r_1\overrightarrow{\mathrm{OA}'}+
r_2\overrightarrow{\mathrm{OB}'}+
r_3\overrightarrow{\mathrm{OC}'}+
r_4\overrightarrow{\mathrm{OD}'}
\]
が成りたつ．
また5点
$ \mathrm{P} $ ，
$ \mathrm{A} $ ，
$ \mathrm{B} $ ，
$ \mathrm{C} $ ，
$ \mathrm{D} $
と直線 $ \mathrm{QR} $ との距離は，
それぞれ
$ \left|\overrightarrow{\mathrm{OP}}\right| $ ，
$ \left|\overrightarrow{\mathrm{OA}'}\right| $ ，
$ \left|\overrightarrow{\mathrm{OB}'}\right| $ ，
$ \left|\overrightarrow{\mathrm{OC}'}\right| $ ，
$ \left|\overrightarrow{\mathrm{OD}'}\right| $ である．
$ \left|\overrightarrow{\mathrm{OA}'}\right| $ ，
$ \left|\overrightarrow{\mathrm{OB}'}\right| $ ，
$ \left|\overrightarrow{\mathrm{OC}'}\right| $ ，
$ \left|\overrightarrow{\mathrm{OD}'}\right| $ のなかの最大値を
$ \left|\overrightarrow{\mathrm{OX}'}\right| $ とし，
対応する頂点を $ \mathrm{X} $ とする．
\begin{eqnarray*}
\left|\overrightarrow{\mathrm{OP}}\right|&=&
\left|r_1\overrightarrow{\mathrm{OA}'}+
r_2\overrightarrow{\mathrm{OB}'}+
r_3\overrightarrow{\mathrm{OC}'}+
r_4\overrightarrow{\mathrm{OD}'}\right|\\
&\leqq&
\left|r_1\overrightarrow{\mathrm{OA}'}\right|+
r_2\left|\overrightarrow{\mathrm{OB}'}\right|+
r_3\left|\overrightarrow{\mathrm{OC}'}\right|+
r_4\left|\overrightarrow{\mathrm{OD}'}\right|\\
&\leqq&(r_1+r_2+r_3+r_4)\left|\overrightarrow{\mathrm{OX}'}\right|
=\left|\overrightarrow{\mathrm{OX}'}\right|
\end{eqnarray*}
であり，
\[
\bigtriangleup \mathrm{PQR}の面積=\dfrac{1}{2}\mathrm{OP}\cdot\mathrm{QR},\
\bigtriangleup \mathrm{XQR}の面積=\dfrac{1}{2}\mathrm{OX}'\cdot\mathrm{QR}
\]
であるから， $ \bigtriangleup \mathrm{PQR} $ の面積は
$ \bigtriangleup \mathrm{XQR} $ の面積を超えない．
$ \mathrm{X} $ を固定し，
点 $ \mathrm{Q} $ について同様にして，
$ \bigtriangleup \mathrm{XQR} $ の面積以上になる頂点 $ \mathrm{Y} $ を選び，
その $ \mathrm{Y} $ を固定して，
点 $ \mathrm{R} $ について同様にして，
$ \bigtriangleup \mathrm{XQYR} $ の面積以上になる頂点 $ \mathrm{Z} $ を選ぶ．
$ \bigtriangleup \mathrm{XYZ} $ は四面体の何れかの面であるので，
その面積は4つの面の面積のうち最大のものを超えない．
したがって，
三角形 $ \mathrm{PQR} $ の面積は四面体 $ \mathrm{ABCD} $ の4つの面の面積のうち最大のものを超えないことが示された．