什么是 *** 爬虫？
什么是 *** 爬虫呢? *** 爬虫又叫 *** 蜘蛛(Web Spider)，这是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。严格上讲 *** 爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
众所周知，传统意义上 *** 爬虫是搜索引擎上游的一个重要功能模块，是负责搜索引擎内容索引核心功能的之一关。
然而，随着大数据时代的来临，信息爆炸了，互联网的数据呈现倍增的趋势，如何高效地获取互联网中感兴趣的内容并为所用是目前数据挖掘领域增值的一个重要方向。 *** 爬虫正是出于这个目的，迎来了新一波的振兴浪潮，成为近几年迅速发展的热门技术。
目前 *** 爬虫大概分为四个发展阶段：
之一个阶段是早期爬虫，那时互联网基本都是完全开放的，人类流量是主流。
第二个阶段是分布式爬虫，互联网数据量越来越大，爬虫出现了调度问题。
第三阶段是暗网爬虫，这时的互联网出现了新的业务，这些业务的数据之间的链接很少，例如 *** 的评价。
第四阶段是智能爬虫，主要是社交 *** 数据的抓取，解决账号， *** 封闭，反爬手段、封杀手法千差万别等问题。
目前， *** 爬虫目前主要的应用领域如：搜索引擎，数据分析，信息聚合，金融投资分析等等。
巧妇难为无米之炊，在这些应用领域中，如果没有 *** 爬虫为他们抓取数据，再好的算法和模型也得不到结果。而且没有数据进行机器学习建模，也形成不了能解决实际问题的模型。因此在目前炙手可热的人工智能领域， *** 爬虫越来越起到数据生产者的关键作用，没有 *** 爬虫，数据挖掘、人工智能就成了无源之水和无本之木。
具体而言，现在爬虫的热门应用领域的案例是比价网站的应用。目前各大电商平台为了吸引用户，都开展各种优惠折扣活动。同样的一个商品可能在不同 *** 平台上价格不一样，这就催生了比价网站或App，例如返利网，折多多等。这些比价网站一个 *** 爬虫来实时监控各大电商的价格浮动。就是采集商品的价格，型号，配置等，再做处理，分析，反馈。这样可以在秒级的时间内获得一件商品在某电商网站上是否有优惠的信息。
关于 *** 爬虫的问题可以看下这个页面的视频教程，Python爬虫+语音库，看完后会对 *** 爬虫有个清晰的了解。
暗网上的性、暴力、毒品，你所有的野心和向往
当你在凝视深渊的时候，深渊也同样在凝视你
每天，我们都在使用 搜索引擎 在互联网的海洋中搜索我们感兴趣的信息。这些能被 搜索引擎 ( google,baidu,bing )检索到信息的 *** ，都被称为 表层 *** ( Surface Web )。这些是我们普通人日常接触到的 *** 。
但是，有很大一部分信息是不能被所有人检索到的。它们被加密，被作为隐私存放在互联网上。比如说 冠希哥的个人影集 、 企业或者 *** 、军方 的数据资料库，以及一些触及到 法律或者道德 雷池的数据。这些数据只能是 一少部分人 可获得的信息，而不能被 公共检索到 。这些不能被 所有人 公开检索到的信息，就构成了 暗网 （ Deep Web ）。
其实，我们通过正规途径接触到互联网仅仅只是 冰山一角 。在这个幽暗的森林里藏着许多我们不所知的 秘密 。 *** 上流行下图来阐述我们普通人对于 *** 的粗浅认知：
我们平常通过 浏览器 打开一个网页，里面会加载 文字 、 图片 、 视频 等内容。 正常情况 下我们是使用 同一个出口 也就是同一个 IP 访问远程主机【对于这个原理不熟悉的读者，可以参考笔者之前 不做Script Kiddie （ *** 原理篇） 】，是可以 被监控的 ，所以大家不要想着 在明网干坏事 ，因为只要 他们 想查，总能够 查得到你的 。
而 暗网 的做法是把打开网页的请求 分散到世界各地进行请求 ，这样就 不能判断行为的上下文是谁做的 ，所以追查出来的信息会是 不完整和不连续的 ，所以 没有办法作为证据 ，这是暗网信息 难以被追踪的原因 。
笔者曾经在国庆7天假期，浏览了一些暗网，和大家一起分享~~~~
---------------------------------暗黑、漆黑、黢黑的分割线---------------------------------
一切准备就绪，我们可以来揭开暗网那神秘的面纱吧。当然，所有违法的包括 黄赌毒 都可以在暗网里找到。
这庄生意就比较重口了，其中的商品是人的生命。10000美元取一个人的性命，杀手说得如此冷静从容，就好像一次无聊的家政服务。暗网的残忍在这一点开始不可遏制地滑向了深渊。
遗憾 ---或者该说， 令人高兴的是 ，我们的表现并不活跃，我只找到了 两个中文论坛 。无非也是 毒品 、 枪支 、 钱 。
顺藤摸瓜，笔者又找到一个 免费查询开房记录 的暗网：
关上电脑，揉揉眼睛，笔者呆坐在办公室的座位上，透过窗户也只能看出去十来米远。
对于笔者而言，暗网是一个 光怪陆离 的世界。日常生活中很难接触到的信息，在这里触手可及。不管是哪个网页，笔者的之一反应往往是 错愕 ，因为他们在 视觉上 带来了非常大的 冲击 。
*** 裸的欲望 躲在信息背后支撑起每一个页面，它像一个 黑洞 ，把 精力与金钱 吸入，吞吐出的，是极度满足后的 虚妄 。生活不也正是 如此吗 ？
我并不认为暗网是城市最 阴暗潮湿 的角落，也不会举着 技术无罪 的牌子在大街上寻找 爱的抱抱 。暗网确实 存在着 ，我们的生活也要 继续 。短暂的 交汇 ，最终得出了如 也许这并不是我的世界 这样的结论， 仅此而已 。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
关注笔者公众账号[ mindev ],加入笔者星球，就可获得进入IT教程~~~
愿意与大家分享交流各种技术，个人公众账号[ mindev ]，以及 知识星球[ 极客世界 ]
[图片上传失败...(image-318f16-1541660595105)]
欢迎订阅公众账号，日更哟~~~
科普：什么是深网、暗网与黑网？
近年来，听说了很多关于暗网的报道，一直搞不太清楚一些关系和名词，今天就一起来了解一下。
互联网是巨大的，我们日常访问的其实只是冰山上面的部分，但在冰山的下面藏着不比互联网小的深网(Deep Web)、暗网(Darknet)和黑网(Dark Web)。
对我们大多数人来说， *** 限于12个到50个网站的日常浏览。很多还会以搜索引擎搜索的形式出现。据统计全球大约有10亿网站存在于全球服务器上，但即便是这个量级，也只是万维网(WWW)的冰山一角。深网包涵子集黑网，即是未被搜索引擎(如Google，百度、Bing等)索引的万维网的一部分；而暗网是一种使用正常模式无法访问的 *** 。我之前也容易将它们混淆，你呢？
简单理解，没有被搜索引擎爬虫爬到的都成为深网。例如，搜索引擎将无法访问托管某些由 *** 主导的秘密任务数据的服务器和网站；还有一些需要付费服务维护的 *** ；即搜索引擎爬虫无法触及到的 *** 统称为深网，它是一个比较宽泛的说法。
Darknet是建立在现有互联网之上的加密 *** ，并且需要特定的软件或工具来访问暗网。因为在互联网上使用的常规协议可能不应用于暗网。它为用户提供匿名性。比如Tor或洋葱路由，需要Tor浏览器进入Tor的 *** 。
当然Tor可以用来访问日常的互联网网站，但它也有许多隐藏的网站和服务，无法在常规互联网 *** 问。Tor使用其称为Tor隐藏服务协议来工作。而限制在Tor的网站有一个特殊的.onion地址。因此，Tor的暗网也被称为洋葱。
F2F是另一种暗网。两个熟悉的人直接通过互联网相互通信。他们可能通过P2P连接共享一些文件。这样的 *** ，不能被其他人访问，可以被加密或密码保护。
黑网是深网的一个子集。也就是说，在暗网上运行的服务和网站是黑网。暗网在技术架构上支撑黑网的体系。
如果你的理解更深刻或简洁，不妨留言告诉更多的朋友。
暗*网是什么意思？怎么进入，里面是什么内容？
就是指隐藏在暗处的网站，国内无法进入，里面有很多违法内容。
互联网是一个多层结构，“表层网”处于互联网的表层，能够通过标准搜索引擎进行访问浏览。藏在“表层网”之下的被称为“深网”。深网中的内容无法通过常规搜索引擎进行访问浏览。显著特点是使用特殊加密技术刻意隐藏相关互联网信息。
正常的互联网访问行为都是透明的，也就是说，用户通过互联网访问服务器的访问记录都是可以回溯审查的，这也是公安、国安部门侦查互联网犯罪的重要手段。
例如，互联网用户A通过互联网访问网站B，网站B的服务器部署了流量监控程序，这样就可以通过该程序找到用户A上网所使用的IP地址，进而可以确定其上网终端的地址，从而找到用户A的真实身份以及藏身地点。
然而Tor的出现使这一切都变得复杂，Tor的工作原理是在用户A访问网站B的路由要经过一系列中间节点加密传输，终将网站B的内容返回到用户A，这样一来，追踪溯源就变得极为困难。
暗网的专用货币：比特币
你一定听说过暗网吧？ 暗网原本局限在IT行业和非法业务群体的名词，2017年因访美学者章莹颖遇害之一次被大众所认知。对大多数人来说，暗网是个可怕的地方，甚至间接导致了犯罪行为的发生。文中节选汪德嘉博士《身份危机》书里黑产中的“暗网”，通俗的让大家理解暗网本质是什么，它到底是不是真的那么可怕？！
“96%的互联网数据无法通过搜索引擎访问，其中大部分属于无用信息，但那上面有一切东西：
儿童贩卖、比特币洗钱、致幻剂、 *** 、赏金黑客……”出自美剧《纸牌屋》。
所有的技术都会有善恶两面， *** 在发挥共享信息造福人类时，也出现了类似社会上黑白两道的分层，诞生了叫做 明网、深网、暗网的三兄弟。
明网，被称作表层 *** ，这是我们生活中接触到的 *** ，通过谷歌、百度搜索到的信息都属于明网范围。
常规的搜索引擎没法搜到的 *** ，即：深网。深网的更大特点是，不是所有人都可以进入，由于有特殊口令保护，有的网站不会被 *** 里的爬虫和蜘蛛搜到。如：美国税务局的网站，涉及保密性，普通搜索引擎无法进入。
在深网里，还有个更黑暗的分支，那就是暗网。暗网里一切都是隐形的：网站隐形，用户身份隐形，IP地址隐形，上网者可以来无影去无踪。
由于没有法律和舆论的监控，暗网变成最血腥和暴力的地方，各类违法活动 在线交易，如：售卖非法药物、儿童色情、售卖个人信息、盗用信用卡号码、伪造护照、贩卖人口，武器、走私、贩毒、地下军火交易、暴恐、变态色情内容(包括恋童癖等)、邪教等。其中，在暗网之上，也有些打着“自由”和“反对暴政”口号的内容，如维基解密等，很多内容通过暗网进行传播。
暗网更大特点，是在于匿名性，暗网通过特殊技术(软件)进入，经多重的IP地址伪装和Proxy *** 软件处理，数据很难被追踪到，因此逃避监管。可理解为互联网的法外之地，充满人性的黑暗面。
你的个人信息，如：身份类信息、通话记录、个人消费账单、人脉圈关系、门牌号等全部可以买到。
细化一点，花呗的历月账单，还款金额和时间。不仅如此，还罗列出支付宝的历史消费统计，甚至连在家缴的水费竟然都有记录。
你的通话记录、近24小时、1-7天、7-30天、30-90天、90-180天5个通话时段的联系次数。你的通话记录里，最常用的30个联系人是谁，你家住何处，经常在哪儿活动，余额宝里还有多少钱，在什么时候买过几件内衣……
你以为这些很可怕吗？而且这也只是暗网的一小部分而已
17年7月20日，美国司法部长杰夫·塞申斯在华盛顿举行记者会上宣布，他们已铲除全球更大从事毒品、武器和非法物品交易的暗网平台“阿尔法湾”。
据美国司法部说法，“阿尔法湾”上卖家达4万人，客户超20万人。关闭前，网站上非法药品有毒化学品交易条目超25万条，失窃身份证件信用卡数据、恶意软件的交易条目超10万条。
简单说，“阿尔法湾”有点像一个地下的黑市“ *** ”，专门卖那些不能公开销售的东西。
早些被查封的“丝绸之路”暗网，也是个非常庞大的地下黑色 *** 。提供的交易从军火、毒品、到色情违禁品都有，且因为“信誉良好”而臭名昭著。网站有评价机制，好评，会让商家生意更好。
这样的最黑暗的暗网有很多。任何你可以想象到的犯罪形式，都可在这里找到。甚至可以雇杀手杀死一个你不喜欢的人。如Contract Killer，就是一个专业的杀手门户，只要目标在 16 岁以上，无论身处何地，都可成为暗杀对象，连暗杀方式都明码标价。
人民币和美元在暗网里都无法交易，而比特币就是一种虚拟货币。它不靠任何货币机构发行,而是依靠特定算法、通过大量计算产生的。比特币数量不是无限的,设计者设定更大数量是2100万个。现在1600万以上的比特币已被个人占有,剩下近五百万个比特币需要大量数据计算挖掘。
比特币概念最早由“中本聪”在09年提出,这个“发明人”10年后从互联网上销声匿迹了,他是个真实存在的人,还是个虚拟名字或一个团队,没人说得清。
比特币近年的价格走势惊人,刚被提出时一美元可以兑换1300个比特币,到了2011年,一美元可以兑换一枚比特币,而至2017年6月,一枚比特币等于2058美元。（关于比特币可以查一下区块链 互助 拆分 全返原理）
现实中的移动支付，实际上完全受监管。特别是大额支付和转账，会经监管部门。无论是微信支付，还是支付宝，每年都有20万的额度限制。无论是人民币还是美元其他货币，它的支付系统上所有的交易，会被跟踪。每一笔钱的来龙去脉，实际上都可通过大数据追踪到交易双方。使用实名制账户进行非法交易，一旦被盯上，账户就会被查封，警察会找上门来。频繁的大额现金交易，会引来“有关部门”注意，一旦某个人账户，出现与他的职业不相匹配的大额货币交易，那么监管系统会跟进。在中国的金融监管，对于每个人几十万以内的交易，是比较宽松的。在美国，超过一万美元的交易，会引起相关部门的特殊关照。
对暗网来说，由于这些通用的国际硬通货，都会被监管到，因此不能使用这些货币进行交易。适时发明出来的比特币，就充当了暗黑网上的主要货币交易角色。很难想象，如果没有匿名的比特币支持，暗网的黑色交易如何进行下去，只能在很小的范围内小打小闹;同样，如果没有暗网上对于比特币需求支持，比特币就不会有那么大的知名度，就不会有成千上万的计算机，用于“比特币挖矿”(就是通过公式，计算出代表比特币的一串数字)。
中国的地下 *** 犯罪活动主要针对的是中国公民和企业。然而，越来越多的 *** 犯罪组织开始提供针对国外网站或企业的黑 *** 务了。这些地下集团的组织十分严密，并能够通过一系列结构化的指挥链以及“师徒关系”来扩展其业务运作。在进行沟通和交易的过程中，他们则主要利用的是中国国内目前流行的 *** 以及X付宝（X宝）来完成。“暗网”非法集市的始作俑者，正发展为猖獗犯罪的庇护所。这对我们的社会和我们的经济都是一个威胁，我们能做的，只能说把个人信息密码都改的复杂点吧。
好了 这就是今天旺财君为大家分享的内容。祝大家生活愉快！
0条大神的评论