Sinceramente não concordo que a quantidade de links tenha esse peso todo ao se pesar um site contra outro, acredito que você esteja se referindo ao PageRank? Sim, esse sim é baseado em links. Para aparecer na busca natural, os links que você recebe dão uma maior relevância ao seu site que consequentemente ocasiona numa posição mais favorável, mas não que isso somente vai fazer com que seu site esteja em primeiro lugar, afinal, o que tem de site por aí que troca, vende, compra links é imenso, e na maioria das vezes o Google consegue perceber isso.

Inclusive, estou escrevendo uma matéria para um blog que se trata justamente disso: O que o Google sabe sobre meu site/blog e que trata exatamente disso.

Grande abraço e obrigado pelo comentário.

Concordo com você em quase tudo que colocou no post, mas pecou ao falar dos links. É óbvio que os links não são o único fator para rankeamento, mas não concordo que ele seja apenas mais um entre 100 fatores que você citou. Os algoritmos são todos baseados em links e eles são sim fatores determinantes para o rankeamento de uma página.