Questions with ggplot() and geom_smooth()

Currently I want to do a plot in ggplot where the size of the line and the color changes according to the geom_smooth done. I've been trying to add this in the geom_smooth aes option but it displays me two legends: one for the color and one for the size of the line. Can you help me with this?

ggplot(data = subset(data.est,!(l %in% c(1,2))),
      aes(x = sim, y = Error, color = factor(l), size = factor(l))) +
   geom_smooth(method = 'loess',formula = y ~ x, se = F) +  
  geom_hline(yintercept = 0,col = 'black') +
  labs(color = "Needle length", x = "Number of simulations" , y = "Squared error") +
  scale_color_manual(values =  
    c('red','red','red','darkred','red','red','red','red','red')) + 
  scale_alpha_manual(values = seq(0.1,1,length.out = 9)) + 
  scale_color_brewer(type = 'div',direction = -1, palette = 'BrBG') + 
  xlim(500,1000)

> dput(data.est[1:50,])
structure(list(V1 = c(0.2, 0, 0.166666666666667, 0.153846153846154, 
0.0714285714285714, 0.133333333333333, 0.1875, 0.0588235294117647, 
0.111111111111111, 0.210526315789474, 0.1, 0, 0.0909090909090909, 
0.0869565217391304, 0.0416666666666667, 0.12, 0.0384615384615385, 
0.0740740740740741, 0.0714285714285714, 0.206896551724138, 0.2, 
0.129032258064516, 0.03125, 0.0909090909090909, 0.176470588235294, 
0.114285714285714, 0.138888888888889, 0.135135135135135, 0.0526315789473684, 
0.102564102564103, 0.1, 0.0975609756097561, 0.0714285714285714, 
0.0697674418604651, 0.0681818181818182, 0.2, 0.0652173913043478, 
0.0212765957446809, 0.0625, 0.122448979591837, 0.08, 0.0784313725490196, 
0.115384615384615, 0.0566037735849057, 0.148148148148148, 0.0909090909090909, 
0.125, 0.12280701754386, 0.103448275862069, 0.0847457627118644
), V2 = c(1.66666666666667, Inf, 2, 2.16666666666667, 4.66666666666667, 
2.5, 1.77777777777778, 5.66666666666667, 3, 1.58333333333333, 
3.33333333333333, Inf, 3.66666666666667, 3.83333333333333, 8, 
2.77777777777778, 8.66666666666667, 4.5, 4.66666666666667, 1.61111111111111, 
1.66666666666667, 2.58333333333333, 10.6666666666667, 3.66666666666667, 
1.88888888888889, 2.91666666666667, 2.4, 2.46666666666667, 6.33333333333333, 
3.25, 3.33333333333333, 3.41666666666667, 4.66666666666667, 4.77777777777778, 
4.88888888888889, 1.66666666666667, 5.11111111111111, 15.6666666666667, 
5.33333333333333, 2.72222222222222, 4.16666666666667, 4.25, 2.88888888888889, 
5.88888888888889, 2.25, 3.66666666666667, 2.66666666666667, 2.71428571428571, 
3.22222222222222, 3.93333333333333), V3 = c(1L, 1L, 1L, 1L, 1L, 
1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 
1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 
1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), V4 = 10:59), row.names = c(NA, 
50L), class = "data.frame")