Position du problème
Lorsque \(f\) est une forme bilinéaire symétrique sur un espace vectoriel \(E\) et \(F\) un sous-espace vectoriel de \(E\), il est intéressant de se poser deux questions :
Soit \(F^\perp\) l'orthogonal de \(F\) pour \(f\). Que peut-on dire de \(F\cap F^\perp\)? Les sous-espaces \(F\) et \(F^\perp\) ont-ils des vecteurs en commun autres que le vecteur nul ? Autrement dit, existe-t-il des vecteurs de \(F\), autres que le vecteur nul, qui sont orthogonaux (pour \(f\)) à tous les vecteurs de \(F\)?
La restriction de l'application \(f\) à \(F\times F\) définit une forme bilinéaire symétrique sur \(F\) que l'on appelle couramment la restriction de \(f\) à \(F\). Si on note \(g\) cette forme, elle est définie pour tout \(v\in F\) et tout \(v'\in F\) par \(g(v,v')=f(v,v')\). La forme bilinéaire symétrique \(g\) est-elle dégénérée ? Autrement dit existe-t-il des vecteurs non nuls \(v\in F\), tels que pour tout vecteur \(v'\in F\) on ait \(g(v,v')=0\)?
On peut remarquer que ces deux questions sont deux aspects du même problème et qu'elles admettent la même réponse. Toutefois la réponse n'est pas immédiate, même lorsque \(E\) est de dimension finie et \(f\) non dégénérée et bien que l'on ait dans ce cas \(\dim F+\dim F^\perp=\dim E\).
Exemple :
Dans \(\mathbf R^3\) considérons la forme bilinéaire symétrique \(f\) définie pour tout \(x=(x_1,x_2,x_3)\) et tout \(y=(y_1,y_2,y_3)\) de \(\mathbf R^3\) par:
\(f(x,y)=x_1y_1+x_2y_2-x_3y_3\)
Soit \(F\) le sous-espace vectoriel de \(\mathbf R^3\) d'équation \(x_1+x_2+x_3=0\), \(F\) est le sous-espace engendré par les vecteurs \(u=(1,-1,0)\) et \(v=(0,1-1)\). Le vecteur \(x=(x_1,x_2 ,x_3)\) appartient à \(F^\perp\) si et seulement si il est orthogonal aux vecteurs \(u\) et \(v\). Or :
\(\left\{\begin{array}{l}f(x,u)=0\\ f(x,v)=0\end{array}\right.\Leftrightarrow\left\{\begin{array}{l}x_1-x_2=0\\ x_2+x_3=0\end{array}\right.\Leftrightarrow bx_1=x_2=-x_3\)
On a donc \(F^\perp=Vect\{(1,1,-1)\}\) et \(F\cap F^\perp=\{0_{\mathbf R^3}\}\). Le vecteur nul est le seul vecteur de \(F\) orthogonal à tous les vecteurs de \(F\) pour \(f\).
Soit \(G\) le sous-espace vectoriel de \(\mathbf R^3\) d'équation \(x_1+x_3=0\). \(G\) est le sous-espace engendré par les vecteurs \(u'=(1,0,-1)\) et \(v'=(0,1,0)\). Le vecteur \(x=(x_1,x_2,x_3)\in G^\perp\) si et seulement si :
\(\left\{\begin{array}{l}f(x,u')=0\\f(x,v')=0\end{array}\right.\Leftrightarrow\left\{\begin{array}{r}x_1+x_3=0\\x_2=0\end{array}\right.\)
On a donc \(G^\perp=Vect\{(1,0,-1)\}\) d'où \(G^\perp\subset G\) et \(G\cap G^\perp=Vect\{(1,0,-1)\}\). Il existe des vecteurs de \(G\), autres que le vecteur nul, qui sont orthogonaux pour \(f\) à tous les vecteurs de \(G\).
Soit \(H\) le sous-espace engendré par \(u=(1,0,1)\). Comme \(u\) est un vecteur isotrope pour \(f\), pour tous scalaires \(\lambda, \mu\) on a \(f(\lambda u, \mu u)=\lambda \mu f(u,u)=0\). Ceci signifie que tout vecteur de \(H\) est orthogonal à \(H\), c'est-à-dire : \(H\subset H^\perp\) et \(H\cap H^\perp=H\).
Remarque :
Dans cet exemple la forme bilinéaire \(f\) est non dégénérée, on a \(F\cap F^\perp=\{0_{\mathbf R^3}\}\), par contre \(G\cap G^\perp \neq \{0_{\mathbf R^3}\}\) et \(H\cap H^\perp \neq \{0_{\mathbf R^3}\}\).
Le noyau de la restriction de \(f\) à \(F\) est l'ensemble des vecteurs de \(F\) qui sont orthogonaux à tous les vecteurs de \(F\), c'est à dire \(F\cap F^\perp\). Comme \(F\cap F^\perp=\{0_{\mathbf R^3}\}\), la restriction de \(f\) à \(F\) est non dégénérée.
Le noyau de la restriction de \(f\) à \(G\) est l'ensemble des vecteurs de \(G\) qui sont orthogonaux à tous les vecteurs de \(G\), c'est à dire \(G\cap G^\perp\). Comme \(G\cap G^\perp \neq \{0_{\mathbf R^3}\}\), la restriction de \(f\) à \(G\) est dégénérée.
Le noyau de la restriction de \(f\) à \(H\) est l'ensemble des vecteurs de \(H\) qui sont orthogonaux à tous les vecteurs de \(H\), c'est à dire \(H\cap H^\perp\). Comme \(H\cap H^\perp\neq \{0_{\mathbf R^3}\}\), la restriction de \(f\) à \(H\) est dégénérée.