如何一步一步学习到网络爬虫技术？

作为零基础的你，我想你可能是想解决工作中的一个实际问题，或者仅仅是很想学习一下爬虫的技术，多一技之长。其实我准备开始学 Python 爬虫的时候也是一样，老板派了任务，暂时没有人会爬虫，我只有自学顶硬上。因此，我可以用思维图给你理清楚，你应该干什么。

我零基础但我想学网络爬虫：

路径1：我不想写代码，Excel/八爪鱼，用这些工具的好处是你可以很快上手，但是只能爬一些简单的网站，一旦网站出现限制，这些方法就是个玩具。因此，想弄点数据玩玩，玩这些玩具就好。

路径2：我可以学写代码，但是会不会很难啊？我以我的经验告诉你，找一个好的老师比自我胡思乱想，自我设限好得多。写代码这个事不难学，这也是为什么市面上有那么多代码速成的教学。这也是为什么我有些同学1年转专业进 Google 的事情发生。

这里给你描画一下你的学习之路：

学会 Python 的基本代码： 假如你没有任何编程基础，时间可能花1-2周，每天3小时。假设你有编程基础（VBA 也算吧），1小时。

理解爬虫原理：5分钟。为什么这么重要？我自认为学一个东西就像建大楼，先弄清楚大框架，然后再从地基学起。很多时候我们的学习是，还没弄懂大框架，就直接看网上的碎片化的教学，或者是跟着网上教学一章一章学，很容易学了芝麻丢了西瓜。我的自学就在这上面走了很多弯路。

应用爬虫原理做一个简单爬虫：30分钟。

先吃透获取网页：就是给一个网址发个请求，那么该网址会返回整个网页的数据。类似：你在浏览器键入网址，回车，然后你就看到了网站的整个页面。

再吃透解析网页：就是从整个网页的数据中提取你想要的数据。类似：你在浏览器中看到网站的整个页面，但是你想找到产品的价格，价格就是你想要的数据。

再学会储存数据：存储很简单，就是把数据存下来。

学会这些之后，你可以出去和别人说，我会 Python 爬虫，我想也没有人质疑你了。那么学完这一套下来，你的时间成本是多少呢？如果你有编程基础的话，1周吧。

所以，你是想当爬虫做个玩具玩玩，还是掌握一门实战利器。我觉得你可以自己衡量一下。

火星是人类考虑之一，但还太小了

找适合居住的星球 为人类移民作准备 各国为何争着上火星

--------------------------------------------------------------------------------

图：得知“勇气”号成功着陆后，美国国家航空航天局局长奥基夫欣喜若狂。（美联社）

火星时间8时12分，即美国东部时间1月4日17时42分、北京时间5日6时42分，地面控制人员用英国摇滚乐队披头士的歌曲《早上好，早上好》“唤醒”了远在火星的“勇气”号火星探测器。这个十多个小时前成功着陆的探测器迎来了抵达“红色星球”后的第一个早晨。随后“勇气”号与地球进行了第二轮直接联络，而且发回了更为精彩的彩色照片和更多科学数据。由于照片的珍贵性等原因，美国国家航空航天局（NASA）表示，科学家需要经过一番仔细研究后，才能决定哪些照片可以公开。

“勇气”号顺利登陆火星，再次激起了人类对探索这颗远在上亿公里之外的“红色星球”的热情。在这之前，日本1998年7月3日发射的“希望”号探测器未到火星就提前结束使命，欧洲“猎兔犬2”号着陆器在火星着陆后至今下落不明。人类对火星的探索就在这样不断的成功与失败中艰难前行着。

艰难的火星之旅

2003年是火星“大冲”之年（当太阳、地球和火星在一条直线上，地球和火星位于太阳同侧，这就是火星冲日；如果火星冲日发生在火星公转轨道的近日点，则被称为“大冲”），世界各航天大国利用这次千载难逢的机会，纷纷展开了火星探测活动。2003年6月2日，欧洲航天局的“火星快车”携带着“猎兔犬2”号着陆器拉开了2003年火星探测的序幕，美国的“勇气”号和“机遇”号火星探测器紧随其后，也于6月10日和7月7日分别开始了为期7个月的火星之旅。

火星是离地球最近的一颗外行星，在太阳系中其自然环境最接近地球，被认为是最适合人类移民的星球。但事实上，火星的环境非常恶劣。特别是火星的尘暴没有规律可循，有时一年风平浪静，有时一年持续几个月。尘暴甚至可到达8公里的高空，遮天蔽日。原苏联1971年发射的“火星—3”号探测器在火星软着陆后，由于遇上了尘暴，着陆器上的仪器仅工作了20秒钟。此外，近火星空间流星四溅。美国的“水手—4”号探测器在两天内记录到了83次微流星碰撞，这些碰撞改变了探测器的姿态，导致了任务的失败。火星表面的宇宙辐射强度也比地球高上百倍，这些对许多仪器设备都是严峻的考验，登火星之旅非常艰难。

早在1960年，人类就开始了火星探测活动，截至2003年12月底已经发射了30多个火星探测器，其中成功的却不到一半。火星的着陆探测则更加艰难。在已经进行的火星着陆探测中，成功的屈指可数。

原苏联于1971年5月28日发射的“火星—3”号探测器实现了第一次火星软着陆。美国1975年发射了“海盗—1”和“海盗—2”号两个探测器。它们在火星软着陆后，做了两个著名的生命科学方面的实验，没有发现任何生命存在的迹象。这大大降低了人们探测火星的兴趣，加上昂贵的探测费用，火星探测计

划被暂时搁置起来。2001年4月7日，美国“奥德赛”号火星探测器发射升空。这次发射标志着美国火星探测计划重新启动。

人类为何执著地探索火星

人类经过数万年的繁衍生息，今天的地球已经不堪重负，日渐膨胀的人口、日益匮乏的资源都使人类不得不开始探索其他栖息地。寻找地球以外适合人类居住的星球是可能的解决途径之一。正如记者所采访的一位美国太空前沿基金会人士所说，在太空我们还可以探索宇宙中其他星球是不是有生命的存在，以及看有没有适合人类居住的星球，以便将地球上的人们移居到别的星球。作为距离地球最近的外行星，火星理所当然成为人类优先探索的目标。火星和月球不一样，月球是卫星，火星是行星。如果说月球是地球的女儿，火星应该是地球的兄弟。科学家们认为，到目前为止，在所有被探索和研究的星球中，火星是最可能适合人类移居的地方，因为火星和地球有很多共同之处。同地球一样，火星上有大气，也有季节的变化。也有科学家认为，火星的表面有水存在的迹象，这是导致生命起源的重要因素。虽然火星上没有氧气，但科学家设想要用尖端科技改造火星环境，以适合人类居住。一些持乐观态度的专家认为，绿化火星可能只要几百年时间，此后人类可携带特殊呼吸装置前往居住。

探索火星还将有助于加深对地球以及地球上生态环境的认识。通过研究火星大气的演化和水的消失过程，分析火星大气稀薄的原因，可正确认识和把握地球环境的变化趋势，对人类保护地球环境，从而在宇宙中永久生存具有现实而又深远的意义。此次前往火星的“勇气”号和“机遇”号带去的任务就是，探测火星上是否存在过生命。

火星探测显示国家实力

在科学技术高度发达的今天，任何一项重大成果的出现都离不开强有力的经济支持。在高成本的航天领域，各国的竞争实际上也是经济实力的竞争。据悉，在“勇气”号和其孪生兄弟———“机遇”号探测计划的实施过程中，NASA投入的经费和评估测试的严格程度都超过从前。这两个火星探测器总共耗资约82亿美元。

和载人航天一样，火星探测也充分显示了一个国家的综合国力。在人类发起的30多次火星探测活动中，美国占了约一半，能与它抗衡的只有原苏联和俄罗斯。近来，俄罗斯虽然在探索火星的问题上不断尝试，但步伐显然慢了。俄罗斯最近一次发射火星探测器是在1996年。

与美俄相比，欧洲和日本在火星探测上显得力道不足。1月5日，负责寻找失踪火星探测器“猎兔犬2”号的科研小组遗憾地告诉全世界：“猎兔犬2”号可能永远要和人类说“再见”了！这个消息并不令人意外。过去，欧洲航天业一直专注于卫星制造和商业火箭发射，避免参与美俄载人航天和太空探测等项目的竞争。近年来，欧洲慢慢在月球和火星探测方面取得了一些进展，但在技术和经验上都与美俄存在相当大的差距。与此同时，日本发射的“希望”号火星探测器未能成功登陆火星，同样暴露出日本在技术上与美俄的差距。

火星探测也推动了各国经济和科技实力的提高。虽然大多数火星探测的行动都是以失败告终，但科学家在探测器发射、探测器能源供应、探测器着陆方式和技术以及火星环境探测等方面积累了宝贵经验，发展了高精尖的技术，为人类成功登陆火星做好了准备。

当然，探测火星的行动无论是成功还是失败，都不能阻挡人类迈向宇宙的步伐。目前，美国、俄罗斯、欧盟等正积极筹备新的火星探测计划。此间媒体报道，美俄正在与欧洲航天局协商合作事宜，希望将载人火星登陆的时间提前到2014年—2015年。

登陆火星和登陆月球不一样，由于火星远离地球，仅往返火星一次就需要18个月，其间航天员需要的食品、水、空气以及在火星生活和工作所需的设施重达数百吨。从火星轨道返回地球的飞船也需提前送到环绕火星的轨道上，因此，众多的技术难题需要解决。火星之旅不仅时间更长，更令人担忧的是宇航员途中所承受的心理压力要比短期太空旅行大得多。一位俄罗斯宇航员曾经说过：“如果把两个人关在同一舱内两个月，就能满足所有谋杀的必要条件。”两个月尚且如此，试想谁能忍受更长时间的煎熬呢———火星之旅整个行程可能长达3年(往返18个月，在火星表面停留18个月)。尽管登陆火星还有许多问题需要解决，但如果该计划得以实施，将是人类航天史上一个新的里程碑。

不知道怎么去教你，只能说说我自己的学习经历。

初学Java，包括学习一两年的，很难精通Java。特别是对于在校的学生，学生只是带着学习Java这种情况，对于多态、重载、接口的运用等等的理解并不够。

说理论太难说，你现在的情况就直接上手项目，自己做东西。1、先跟着做一个整体的项目，比如坦克大战之类的，这样能带着你整体理解Java，借此自己反思Java基础哪里学的不好，补。2、然后做JavaWeb项目，理解框架、一些简单的设计模式，尝试做一个微博的项目（不好意思，我当年做的第一个web项目就是微博系统，嘿嘿）或者其他的。我自己觉得做web项目最好，很多Java只是都能在项目中加深理解。

其实想说的就是，java入门不难，但是想精通很难。学习反思项目学习反思

我就简单说这么一点点。有什么你跟我私聊。只要坚持下来，相信你会成功。

http://wwwitreincom

提供网络爬虫技术服务和网络软件研发服务，全面、准确、及时地为用户自动收集相关网站信息数据，满足用户的业务信息获取需求。itrein网络提供以下技术服务：

1、提供网络爬虫技术应用服务和网络软件技术研发服务；

2、提供可管理的蜘蛛入口，抓取策略设置及抓取文章过滤；自动过滤重复文章；智能分析页面类型，入口页面或目录型页面可定时重复抓取；针对抓取结果自动进行中文分词、词频统计及简要分类；

3、为方便用户快速网站建设和信息获取、共享、更新与维护，充实用户自己的快速网络信息量，提供网络爬虫技术服务；

4、企业电子商务网站建设、软件系统开发、设备系统开发、ASP、JSP开发、VB、NET项目开发、VBA开发、触摸屏编程、标志设计、包装设计、平面设计、封面设计、IT软/硬件技术支持及IT业各种软件项目等；

5、我们可以按整体或某些功能的方式提供开发服务；

6、在能和您建立项目合作之外，也希望能与您建立长期的合作关系，为您的业务和技术部分提供整套的技术服务支持。

QQ：781110233

红蜘蛛始终野心勃勃，坚信自己高人一等。随着时间流逝，他变的愈发精明强干。不少狂派战士都曾嘲笑过红蜘蛛对权力的痴心妄想。然而随着红蜘蛛的胜战记录不断刷新，所有人都不得不对他的野心认真看待。现在，红蜘蛛的实力已经完全展现出来了。只要有他登场，博狂双方都会加倍小心，谨防后院起火。成为隐者战士的红蜘蛛比以往任何时候都更为强大，也更加自私。他收集了大量的原始能量，准备为实现自己的宏伟蓝图大干一场。

红蜘蛛是变形金刚历史上极为重要的一个角色，在美版TF动画作为主角的动画剧集有4集（全95集）但这并不包括《变形金刚**版》《真假擎天柱》《魔力神球》《全体出击》等许多其作为重要配角登场的，可以说，红蜘蛛是变形金刚（擎天柱时代）最为重要的一个配角，他在迷友心中地位十分之高因此在2010里才会有多达2集的主角剧情，虽然之后的三代日版动画中没有登场，但在事隔多年后的超能勇士中，他仍有客串足以见其大人气。 在邪神三部曲里头，最突出的就是红蜘蛛，因而在邪神三部曲中，他是个最突出的配角。

《雷霆舰队》里的红蜘蛛，在冷酷无情之中也有着温柔的一面，一直“怀才不遇”，内心纠结，希望堂堂正正地与威震天决斗，与地球女孩艾丽西丝有着一段朦胧的感情（非常特别的人机恋），为了打败惊破天，不惜投靠汽车人（虽说最后还是回去了）。最后劝说威震天和擎天柱联手消灭宇宙大帝，并且成功了，只不过，他付出了代价。这代价就是他的生命

《能量晶体》里的红蜘蛛重生成为暗啸后是个忠心耿耿的人，致死都一直跟随着惊破天，连重生的惊破天都因为他的事而不予评论，在某集中打了一顿六号激光时，惊破天说是“为了暗啸”，可见其对他的信任程度有多大了，最后跟随惊破天一起进入太阳，可见他的忠心。

《赛博坦传奇》中的红蜘蛛，不用说了，野心特大。不过编剧应该特喜欢他这种样子，因此红蜘蛛之后就是自立一派，独当一面，不仅和擎天柱对着干，而且还和威震天对着干。是个有着极其强大野心的角色，最后和惊破天最后对决，结果被轰入另一个星系。 星啸/红蜘蛛（Starscream），前自由人/博派空军----也即号称“霸天虎”的游击军（Seeker）之（目前有名传世的）指挥官，威震天失踪期间曾代任诳伪集团（Decepticons）领袖。塞伯坦史称“星啸/红蜘蛛大帝（Lord Starscream）”。和他们一样，星红也有着深入火种内核的英雄情结。只不过，现实里的他所表现出来的，更像是个枭雄。长久以来，星红都认为“无论擎天柱还是威震天，他们在‘塞伯坦民族命运’这个问题上都早已失去了冷静、客观的判断力，都不过是在以集体的名义盲目地追求所谓的‘意志’，实质上是他们俩的个人意志”。　　星红坚信，“为了塞星民族根本利益着想，需要有一位新领袖崛起”，而那位“新领袖”------就是他自己。然而，随着时光飞逝，手握重权的星红却也像他的上司威震天一样，在“个人意志”的老路上越发堕落而不能自拔，尽管在统治方式上，他和威震天有所区别----即相比起恩师所信奉的“暴政出和平”，星红更喜欢诈术权谋。如今，曾经的高尚理想已被一己私欲埋葬。一颗曾经满怀热情与真诚的芯，在戾气涌动的社会环境熏陶之下，逐渐地将他转变成了那个“历史上人尽皆知的星啸”，那个连星红他自己都无比唾弃的所在。。　　博诳内战爆发前，星红还只是一个塞星之上的无名“飞翼人#（Fliers）”小卒。但就在他为正在参加教学旅行而遭到地底怪魔“利钻虫（Driller）”偷袭的幼生体（Hatchetlings）保驾护航的那一刻，其特立独行深深打动了“敏感”的威震天，有意栽培年轻人的护星主看到了星红身上的锐气，也看到了他在自己的塞星重塑大业中所能够起到的作用。在威震天的授意下，星红旋即加入了威总的塞伯坦国防军（CDF），并在无数次的维稳任务中得到历炼，成长，最终成为了威震天身边的“左膀右臂（之一）”，也是塞星军队空中力量“游击军（Seeker）”的指挥官。　　地球历法算）公元前11，000年前，以御-威-擎三人为首的博派（Autobots）一统塞伯坦，御天敌旋即宣布了“双王共治”改革。塞伯坦社会进入和平转型时期，但前博派防卫军（ADF）-----即如今的塞星国防军，仍一直处于常备状态。（地球历法算）公元前11，700年前后，曾经“和谐发展”的塞伯坦开始“不明原因地”出现严重的环境危机，反对御天敌“双王”体制的异见派分子（Malcontents）开始处处与塞伯坦国防军作对，小到油行大到武力冲突。在此大背景下，“深得威意”的星红，开始作为威震天直属特勤队员，参与对异见派分子的压制。某日，星红率兵（也有可能是他单独行动）巡逻于外星埃舍姆斯星云（Eshems Nebula），他与之前在同一循环发现的外星人船舰发生了交火。不久，在接受时任国防军医疗长的棘轮（Ratchet，即日后的救护车）的治疗时，星红认为“交火是因为对方没有与他保持安全距离，才导致了自己的武力行动”，也因此使得他受了伤而没及时赶上与两位最高统帅-----护星主威震天，还有科学（行政）院主管擎天柱（Optimus）的工作会晤。。

在抵达地球以前的漫长征途中，“表面上”晋升为了诳派领袖的星红，实际上，除了肩负的沉重责任外，内芯的煎熬也从未减轻-----一方面是众人对威震天回归的渴望；一方面是火种源的下落成迷；最重要的是，星红，他打芯底里希望恩师能够就此一去不复返，只有这样，他才能坐稳这个他渴望了一万八千多年的宝座。但不管怎样，一些忠芯耿耿（当然不是对星红）的诳虎成员，例如眩晕，一直都未曾打消对星红的猜疑，也处处试图和“代理领袖”对着干；前国防军情报部骨干路障（Barricade）和眩晕一条线，但他并不愿意公开自己与星红之间的矛盾；碎骨魔（Bonecrusher）自然是恨星红入骨，但碎骨魔那对此“钻得过深”的脑子已经让自己失去了对任何事物的正常判断力；尽管迷乱（Frenzy）和巨蝎怪（Scorponok）的意见不明，但很少有人愿意搭理“时常疯疯癫癫”的迷乱；同样，也没人在乎不爱说话的小宠物芯里想的是啥。。。总体上说，那段日子里的星红，非常孤单。　　在对一个“文明遗弃已久”的外星太阳系的搜索过程中，“报应二号”奇迹般地遇到了一艘“体征与威震天相似”的外星飞船-----“幽灵一号（Ghost One）”。怀着摧毁它的动机，星红出发前去调查此物。在赶跑了同样前来调查的大黄蜂后，星红与船上的乘客们-----一群自称“人类（Human）”的外星人通上了信。星红自称曾和另外一群名叫“自由人/博派（Autobots）”的钢铁巨人生活在一起，而“博派的疯狂领袖擎天柱，为了圣物火种源而向星红等人发动了战争”，人类回应说他们“在自己的世界，一个名叫地球（Earth）的行星上发现了一个类似的钢铁巨人”。根据人类的描述，星红惊喜地发觉人类所擒获的那个塞星人正是恩师威震天，便谎称人类擒获的那个钢铁巨人“是博派的一名侦察兵”。趁着与人类搭讪的功夫，星红刺探并下载了人类电脑库存的全部数据，更欣喜地得知：火种源竟然也在地球上！　　　于是，星红假意表示“如果人类一方协助对付‘博派狂徒’，他就护送人类安全返回地球”，企图借尚不知情的擎天柱之手消灭这群外星人，既能让上面的“独家消息”尽为己用，而又能让博派领袖为之倍感疚辱。果然，人类驾驶着他们的飞船袭击了与之遭遇的擎天柱和大黄蜂，但两位博派战士成功地躲了过去。在全船人类被困在了某星球一处地下溶洞后，星红露出了他的真面目，冷酷地抛弃了受难的“幽灵一号”船员们。经此教训的人类得出结论：博派与星红这一派，任何一方都不值得信任。。。　　带着满脑子的秘密回到与“方舟二号”的对战中的星红向诳派同袍们撒了谎，声称擎蜂二人“已死”，而“自己没能与那帮外星人取得任何联系”。老奸巨猾的眩晕一个字也不信，面对面地朝星红叫板。一场恶战后，眩晕败下阵来，包括他在内的其他人只好乖乖地重新投入到了对“方舟二号”的总攻中去。可让星红丢脸的是，擎天柱、大黄蜂和“幽灵一号”却在这个节骨眼上出现在了他们面前！　　惧怕那艘外星飞船上蕴藏的秘密大白天下，星红强令其他人摧毁“幽灵一号”。然而，此时早已按耐不住的碎骨魔和眩晕以武力相逼，要求星红解释一切；而情况是如此危急，以至于连平时对自己“服从有加”的路障也要求“代理领袖”给一个交代。乱战之中，星红逮到了一个杀死擎天柱的机会，却遭到了来自“幽灵一号”的猛烈攻击-----在遭到人类的致残一撞后，恼羞成怒的星红一等离子炮把全体人类连船一起轰作了碎片，尽管此时己方对博派已经“占尽优势”，可有气无力的星红，已只顾得命令“全体撤退”了。　　事后，尽管博派众人都认为：星红绝不会冒着“大权重失”的风险而前往地球，人类一族可以幸免；但在擎天柱看来，“只要复仇的欲望和对火种源之力的贪婪不灭，诳派的铁蹄踏到地球，只是时间的问题。。。”　　事件 陨落星辰（Planet Fall，变1前传漫画·卷三/卷四）　　　（地球历法算）公元2003年，星红、眩晕、路障三人进抵（地球所在的）太阳系星球之一-----火星（Mars），并在探路的过程中踢坏了人类的“猎兔犬”2号（Beagle-2）火星车（却不知第七区特工们正透过车上的隐蔽探头监视他们三人的行踪）。对此等“原始科技”，星红相当不屑。但眩晕和路障则认为“这表明了智慧生物的存在”而更应该“加强警惕”。不置可否的游击军指挥官表示了“同意”，但仅仅是因为，“这意味着又可以大开杀戒了”。。。 G1：铃置洋孝

野兽战争客串：矢尾一树

野兽战争2：高桥广树

微型金刚传说：山野井仁

超能合体：飞田展男

银河之力：黑田崇矢

07-09**版：宫泽正

Animated：山野井仁

领袖之证：鹤冈聪

Q版变形金刚～归来的擎天柱之谜～：杉田智和 Chris Latta

查尔斯艾德勒 李丹青