看楼主的资料貌似没学过微积分。微积分里面对于极限过程（其实就是所谓“无限”）的定义可以说是很精辟地帮人们理解无限的，我可以给楼主讲讲，不牵扯很高深的数学知识。就分为三个阶段吧，楼主现在认为假如有无限的话，应该是一个静止的点（所谓的“尽头”），和有限的概念没啥区别，只不过它存在于我们无论如何也看不见的远的地方（就比如楼主说的“如果“无限”是有尽头的，那么它的“尽头”是什么？”）。这个可以叫“看山是山，看水是水”的阶段；接下来我来解释一点东西，让楼主明白“无限”并不是个静止的对象，它只不过是某些事物的一种能力，这个可以叫“看山不是山，看水不是水”的阶段；最后我再解释一些新理解，让楼主回来，认为你最开始那个静态对象的观念有一定的道理。不过楼上也说了，要区分一下实际存在的东西和人类理想定义的东西。楼主举的例子，比如“直线”“圆”“无限循环小数”都是数学概念，记住所有的数学概念都是人为定义出来的，它只是作为一种语言去描述实际存在的物体，本身并不是实际存在的。下面我也只讨论楼主说的这些数学概念什么叫无限，并不说实际物体等，那太过于复杂，现在很多还说不清（比如宇宙是实际存在的，那么宇宙到底无限还是有限呢？这是非常复杂的问题）。
①无限是一种能力，并不是一个固定点
最初牛顿、莱布尼兹发明微积分的时候，并没有定义清楚极限过程（无穷大、无穷小）。比如y=1/x这个函数，老师肯定说过x越大y就越接近0，y可以无限接近0（注意，出现了“无限”一词），牛顿他们当时也是这么说的，但是有人就要追问“什么叫无限接近？”“无限是什么意思？”，这没办法用严谨的数学语言回答。
后来的一批数学家，才逐渐定义出无限的精确定义www.souquanme.com。其实无限是一个过程，比如y=1/x在x越来越大的时候，可以无限接近于0，就是说随便找一个正数作为标尺去衡量它的能力，都能找到一个X，只要x>X的时候，1/x就比小。也就是这个问题里面的“无限趋近于0”就是一种能力，一种能够比任何数都小的能力（那个X是发挥它能力的前提，就是x>X的时候，能力就发挥出来了），只要能比任何正数小，就是无限趋近于0。同理，楼主说的“无限小数”里面的“无限”也指的一种能力。什么能力呢？就是随便你给个整数N，不管有多大（成千上亿也行），这个小数的第N位以后总还是有数的（不都是0），无限的含义就是这种能力，所以并不存在发不发现边界，有没有停止之类的问题，它有这样的搜趣网能力很正常，就像人有吃饭睡觉的能力一样。
②楼主一开始的理解也有一定道理
但是话说回来，有些情况下，具有“无限”能力的东西，会表现出“貌似有那么一个静态无限远的端点”的特征。楼主举的那个直线的例子很恰当，并且这也是个著名的例子，不过要更深入地说一下。楼主应该学过平面直角坐标系吧？想象这样的场景。有一个搜趣网圆，它的圆心在y轴上的(0,1)点，半径就是1，那么它最上方的点是A(0,2)。现在我们来做这样一件事，把A点，和x轴上面随便一个点B连线，一定和这个圆有且只有除了A以外另一个交点B'，我们把B叫B'的对应点好了。如果我连遍x轴上所有的点，是不是x轴上面每个点，都对应于圆上面一个点？反正，圆上面每个点都有一个x轴上面的对应点吗？有一个点很特殊，它没有，就是A点自己，找不到任何x轴上面的点，A和它连线以后，和圆除了A再没有别的交点。但是我们想想，A点不过是圆上面一个和其他点一样普通的点，为什么别的点都有对应点就它没有呢？有人很会思考，想到了隐约之中，作为一条直线的x轴，存在着一个最终的尽头点（无穷远点），任何一个实际能找到，能标出来的点B都不是它，但A对应着这个无穷远点，这样才能做到公平，圆上的每个点都有x轴上的对应。并且，x轴就是一条数轴，数轴上每个点对应一个数，那么这个无穷远点对应哪个数呢，对应∞（无穷大）这个数（同样也是个隐约存在的，不像其他数一样真实的数）。实数系统，加上这个虚无飘渺的∞以后，貌似叫做“广义搜趣网实数系”（是不是叫这个我记不清了），在数学的一些问题里面很有用。一些以往的数学概念，也会有新的含义，比如反比例函数y=1/x，它本来在0没有意义，但是现在可以认为它在x=0时候y=∞，这样反比例函数就是一个连着的东西，和y=x没什么区别，每一点都有定义。
上面的例子说明楼主这样想也有一定的道理，有“无限”这种能力的东西，它往往会表现出有一个固定无限远尽头的迹象，这可能是因为人类对于各种知识的原始定义，一开始就注定会这样。总之这个问题深究起来很复杂，我也不是非常懂，不过我觉得理解“无限是一种能力”是前提，把这个理解清楚思路才能清晰，在此基础上再去想有一个固定尽头的迹象，会更好。
打了很多字，不知道楼主有没有耐心看到这。总之上面有的知识是我在大学里面学到的，也有不少是老师和自己的理解。楼主可以理解一下，看我说的有没有道理，共同探讨。

春心莫共花争发，一寸相思一寸灰”元稹说“曾经沧海难为水，除却巫山不是云”温庭筠说“玲珑骰子安红豆，入骨相思知不知”鱼玄机说“忆君心似西江水，日夜东流无歇时”然而呢，“世间安得双全法，不负如来不负卿”“世间好物不坚牢，彩云易散琉璃脆”要我说，大抵是“世间本无双全法，彩云易散琉璃。