Les ensembles \(\mathbb Q\) et \(\mathbb R~\setminus~\mathbb Q\) étant denses dans \(\mathbb R\), si \(x_0\) est un réel il existe une suite \((r_n)\) de rationnels de limite \(x_0\) et une suite \((s_n)\) d'irrationnels de limite \(x_0\).
On a : \(\forall n\in\mathbb N,~f(r_n)=r_n^2\) et \(f(s_n)=0\) ;
pour que la fonction \(f\) soit continue en \(x_0\) il faut (et a priori il ne suffit pas) que l'on ait \(f(x_0)=0=x_0^2 \)d'où \(x_0=0\).
[3 points]
La continuité de la fonction en 0 est alors immédiate, la fonction carré étant continue on a :
\(\forall\epsilon>0,\exists\eta>0,\forall x\in\mathbb R~(|x|<\eta\Rightarrow x^2<\epsilon)\),
d'où, pour tout \(x\) (rationnel ou irrationnel) vérifiant \(|x|<\eta\) on a \(x^2<\epsilon\).
[2 points]
Le rapport \(\displaystyle{\frac{f(x)}{x}=x}\), ou \(0\) suivant que \(x\) est rationnel ou non, il a donc une limite nulle, la fonction \(f\) est dérivable en \(0\) et la dérivée est nulle en ce point.
[2 points]