LAG al conectarse al servidor.

Bueno, basicamente tengo ese problema…

Cuando me conecto al servidor que hosteo un amigo se me lagea mucho al principio. Tengo que mandar algo por chat, y recien cuando aparece me anda bien. O sea, me anda mal al principio nada mas, despues funciona perfecto.
Si entro en el Nether pasa lo mismo. Siempre mando un asd, y cuando me aparece a mi es porque ya me empieza a andar bien.

Queria saber como solucionarlo. Supongo que es un problema del servidor, porque nos pasa a todos menos al que lo hostea. Y siempre me paso asi con servidores caseros. Hace tiempo jugaba con otros chicos en otro server y pasaba exactamente igual. Pero cuando juego en servidores publicos de alguna comunidad me anda perfecto.

Espero que me ayuden a solucionarlo porque es bastante molesto.