Python能抓取网页上的信息，当然bash也可以，今天小编就拿bash脚本来挖掘IMDb中的电影信息噢！！挺好玩的！！！
我们是做教育的，希望大家能够学到知识，这个一直是我们的初衷！！
电影网站https://www.imdb.com，这个网站我自己登入上去看了看，确实可以登入，并不需要挂vpn，可惜的是英文。
因为代码太长了，我分屏了一下，大伙可以看行号码，不过我会把源码分享出去。
代码里用到了大量的sed和grep，这个sed我之前有分享，改天找个机会说说grep的使用。
写好了运行一下吧，在脚本后面lawrence of arabia是电影的名字。
你看吧！出来一系列的电影了！当然你的英文要好！！
那我现在就分享一下代码吧！！
#!/bin/bash
#Date 2019-09-17
PATH=/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
titleurl="http://www.imdb.com/title/tt"
imdburl="http://www.imdb.com/find?s=tt&exact=true&ref_=fn_tt_ex&q="
tempout="/tmp/moviedata.$$"
summarize_film()
{
grep "" $tempout | sed 's/<[^>]*>//g;s/(more)//'
grep --color=never -A2 '<h5>Plot:' $tempout | tail -1 |\
cut -d\ -f1 | fmt | sed 's/^/ /'
exit 0
}
trap "rm -f $tempout" 0 1 15
if [ $# -eq 0 ] ; then
echo "Usage:$0 {movie title | movie ID}" >&2
exit 1
fi
######
nodigits="$(echo $1 | sed 's/[[:digit:]]*//g')"
if [ $# -eq 1 -a -z "$nodigits" ] ;then
lynx -source "$titleurl$1/combined" > $tempout
summarize_film
exit 0
fi
########
fixedname="$(echo $@ | tr ' ' '+')"
url="$imdburl$fixedname"
lynx -source $imdburl$fixedname > $tempout
fail="$(grep --color --color=never '<h1 class="findHeader">No ' $tempout)"
if [ ! -z "$fail" ] ;then
echo "Failed:no results foun for $1"
exit 1
elif [ ! -z "$(grep '<h1 class="findHeader">Displaying' $tempout)" ] ;then
grep --color=never '/title/tt' $tempout | \
sed 's/</\
</g' | \
grep -vE '(.png|.jpg|>[ ]*$)' |\
grep -A 1 "a href=" | \
grep -v '^--$' | \
sed 's/<a href="\/title\/tt//g;s/<\/a>//' | \
awk '(NR %2 ==1){title=$0} (NR %2 ==0){print title " " $0}' | \
sed 's/\/.*>/: /'|\
sort
fi
exit 0
</pre><p>大家可以复制下来运行一下，不懂的话直接私信小编，或者加群讨论！！一起学习一起进步！！！</p><p>我们是做教育的，希望大家能够学到知识，这个一直是我们的初衷！！</p><p>记住噢，加群讨论噢，不懂的可以问，也有人回答的。</p></div></div>
<div class="clearfix mb10">
<div class="share fr">
<div class="social-share mb20 ta-c" data-initialized="true">
<a href="#" class="social-share-icon iconfont icon-weibo"></a>
<a href="#" class="social-share-icon iconfont icon-qq"></a>
<a href="#" class="social-share-icon iconfont icon-wechat"></a>
<a href="#" class="social-share-icon iconfont icon-qzone"></a>
</div>
<script src="http://www.yund56.com/zb_users/theme/tx_hao/script/social-share.min.js"></script>
</div>
<div class="info-tag">
<a href="http://www.yund56.com/tags-4.html" title="查看更多影视网站免费源码最新版内容" rel="tag" target="_blank">影视网站免费源码最新版</a> </div>
</div>
<div class="info-next">
<ul class="row">
<li class="col-12 col-m-24 mb10">上一篇：<a href="http://www.yund56.com/post/166.html" title="人人影视:二十年全部字幕文件及数据开源分享">人人影视:二十年全部字幕文件及数据开源分享</a></li>
<li class="col-12 col-m-24 ta-r mb10">下一篇：<a href="http://www.yund56.com/post/168.html" title="人人影视宣布开源全部字幕文件及数据">人人影视宣布开源全部字幕文件及数据</a></li>
</ul>
</div>
</div>
<h2 class="tx-title">相关推荐</h2>
<div class="home-news">
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5203.html" title="SM小分队Girls on Top，女神战队少了f(x)?" class="f-black" target="_blank">SM小分队Girls on Top，女神战队少了f(x)?</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">这次由SM娱乐公司在冬季即将开演的smtown里，将公司的所有女团成员集结成了一个小分队project。第一位这是全面ACE的大姐成员权宝儿（BoA），出道二十年，在日本单人销量过千万，韩国国内200...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5202.html" title="韩国女团 aespa 首场 VR 演唱会或暗示 Quest 3 将于 10 月推出" class="f-black" target="_blank">韩国女团 aespa 首场 VR 演唱会或暗示 Quest 3 将于 10 月推出</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">AmazeVR宣布将在十月份举办一场现场VR音乐会，观众将佩戴MetaQuest3进行体验。韩国女团aespa于2020年11月出道，此后在日本推出了三张金唱片，在韩国推出了...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5201.html" title="韩网热议!女团aespa成员Giselle在长腿爱豆中真的是legend" class="f-black" target="_blank">韩网热议!女团aespa成员Giselle在长腿爱豆中真的是legend</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">身高163的Giselle，长腿傲人，身材比例绝了...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5200.html" title="假唱而被骂爆的女团:IVE、NewJeans、aespa上榜" class="f-black" target="_blank">假唱而被骂爆的女团:IVE、NewJeans、aespa上榜</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">在韩国，其实K-pop偶像并不被认为是真正的歌手，因为偶像们必须兼备舞蹈能力、也经常透过对嘴来完成舞台。由于科技的日渐发达，也有许多网友会利用消音软体来验证K-pop偶像到底有没有开麦唱歌，导致假唱这...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5199.html" title="新女团Aespa登时尚大片 四个少女四种style" class="f-black" target="_blank">新女团Aespa登时尚大片 四个少女四种style</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">来源：环球网</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5198.html" title="韩国女团aespa新歌MV曝光 画面梦幻造型超美" class="f-black" target="_blank">韩国女团aespa新歌MV曝光 画面梦幻造型超美</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">12月20日，韩国女团aespa翻唱曲《DreamsComeTrue》MV公开，视频中，她们的造型超美！WINTER背后长出一双梦幻般的翅膀。柳智敏笑容甜美。宁艺卓皮肤白皙。GISELLE五官精致...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5197.html" title="女网友向拳头维权，自称是萨勒芬妮的原型?某韩国女团抄袭KDA" class="f-black" target="_blank">女网友向拳头维权，自称是萨勒芬妮的原型?某韩国女团抄袭KDA</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">女英雄萨勒芬妮（Seraphine）是拳头在2020年推出的第五位新英雄，在还没有正式上线时就备受lsp玩家的关注，因为她实在是太可爱了。和其他新英雄不同的是，萨勒芬妮在没上线时就被拳头当成虚拟偶像来...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5196.html" title="人气TOP女团是?INS粉丝数见分晓;TWICE成员为何在演唱会落泪?" class="f-black" target="_blank">人气TOP女团是?INS粉丝数见分晓;TWICE成员为何在演唱会落泪?</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">现在的人气TOP女团是？INS粉丝数见分晓！现在爱豆和粉丝之间的交流方法变得多种多样，但是Instagram依然是主要的交流手段。很多粉丝根据粉丝数评价偶像的人气，拥有数百、数千万粉丝的组合作为全球偶...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5195.html" title="韩国女团MVaespa Drama MV_韩国女团穿超短裙子跳舞" class="f-black" target="_blank">韩国女团MVaespa Drama MV_韩国女团穿超短裙子跳舞</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">WelcometoDrama.Pleasefollow4ruleswhilewatchingtheDrama.·1)Lookbackimmediatelywhenyoufe...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5194.html" title="aespa师妹团今年将出道! SM职员亲口曝「新女团风格、人数」" class="f-black" target="_blank">aespa师妹团今年将出道! SM职员亲口曝「新女团风格、人数」</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">记者刘宛欣／综合报导南韩造星工厂SM娱乐曾打造出东方神起、SUPERJUNIOR、少女时代、SHINee、EXO等传奇团体，近年推出的aespa、RIIZE更是双双成为新生代一线团体，深受大众与粉丝...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5193.html" title="南韩最活跃的女团aespa，新专辑《Girls》即将发布，盘点昔日经典" class="f-black" target="_blank">南韩最活跃的女团aespa，新专辑《Girls》即将发布，盘点昔日经典</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">女团aespa歌曲盘点，新专辑《Girls》即将发布，期待大火。明天也就是2022年的7月8号，aespa新专辑《Girls》即将发行。这是继首张专辑《Savage》之后，时隔19个月的第二张专辑，这...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5192.html" title="章泽天女团aespa出席戛纳晚宴 宋康昊携新片亮相" class="f-black" target="_blank">章泽天女团aespa出席戛纳晚宴 宋康昊携新片亮相</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">搜狐娱乐讯（山今/文玄反影/图科明/视频）法国时间5月23日晚，女团aespa、宋康昊、章泽天等明星亮相戛纳晚宴。章泽天身姿优越。章泽天肩颈线优越。章泽天双臂纤细。章泽天仪态端正。女团aespa亮...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5191.html" title="Aespa舞台暴露身高比例，宁艺卓脸大，柳智敏有“TOP”相" class="f-black" target="_blank">Aespa舞台暴露身高比例，宁艺卓脸大，柳智敏有“TOP”相</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">作为SM公司最新女团aespa，初舞台《BlackMamba》公开，在初舞台里，看得出来SM公司是下了大功夫的，虽然之前SM公司新出的女团都有很长的先导片，但是aespa显然是有“特殊待遇”。运用了...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5190.html" title="AESPA女团成员柳智敏karina大美女" class="f-black" target="_blank">AESPA女团成员柳智敏karina大美女</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">真队内速度最快最火达成队内首个且唯一两百万点赞五代男女团中输断层第一（图转自微博）...</p>
</dd>
</dl>
<dl class="news-box clearfix pd20 ">
<dt class="f-18 mb10"><a href="http://www.yund56.com/post/5189.html" title="对来学校演出的女团成员语言性骚扰?韩国这所男高的学生恶心透了" class="f-black" target="_blank">对来学校演出的女团成员语言性骚扰?韩国这所男高的学生恶心透了</a></dt>
<dd class="news-txt">
<p class="f-gray f-13">哕了……本月4日，景福男子高中相关人士称已经找到了在SNS中上传对aespa成员进行性骚扰文章的学生，并开始着手调查。2日，SM娱乐创始人李秀满的母校——景福高中迎来了建校101周年庆典活动。当天，S...</p>
</dd>
</dl>
</div>
</div>
<div class="side-box col-6 col-m-24 col2-">
<dl class="side-hot">
<dt>一周热门</dt>
<dd>
<ul>
<li>
<a href="http://www.yund56.com/post/257.html" title="django留言板_留言板html好看的模板" target="_blank">
<h2 class="f-15">django留言板_留言板html好看的模板</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/107.html" title="你还在手动筛选吗?filter函数才是多条件筛选的yyds!" target="_blank">
<h2 class="f-15">你还在手动筛选吗?filter函数才是多条件筛选的yyds!</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/1654.html" title="一次分享给你29个PHP基础常用类助力你快速提升" target="_blank">
<h2 class="f-15">一次分享给你29个PHP基础常用类助力你快速提升</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/108.html" title="一篇文章轻松掌握VLookup、XLookup与Filter函数" target="_blank">
<h2 class="f-15">一篇文章轻松掌握VLookup、XLookup与Filter函数</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/820.html" title="软件工程培训，选择线上还是线下呢?" target="_blank">
<h2 class="f-15">软件工程培训，选择线上还是线下呢?</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/825.html" title="连南举办2024年软件正版化工作联席会议暨正版软件培训班" target="_blank">
<h2 class="f-15">连南举办2024年软件正版化工作联席会议暨正版软件培训班</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/1653.html" title="初学ThinkPHP(一):用TP6+LayUI实现数据表格" target="_blank">
<h2 class="f-15">初学ThinkPHP(一):用TP6+LayUI实现数据表格</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/75.html" title="新函数FILTER函数_filter函数的作用" target="_blank">
<h2 class="f-15">新函数FILTER函数_filter函数的作用</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/1030.html" title="营商在上海_营商上海数字科技有限公司" target="_blank">
<h2 class="f-15">营商在上海_营商上海数字科技有限公司</h2>
</a>
</li>
<li>
<a href="http://www.yund56.com/post/70.html" title="Excel筛选也智能?一个FILTER函数就搞定!" target="_blank">
<h2 class="f-15">Excel筛选也智能?一个FILTER函数就搞定!</h2>
</a>
</li>
</ul>
</dd>
</dl>
<dl class="function" id="divPrevious">
<dt class="function_t">最近发表</dt><dd class="function_c">
<ul><li><a title="SM小分队Girls on Top，女神战队少了f(x)?" href="http://www.yund56.com/post/5203.html">SM小分队Girls on Top，女神战队少了f(x)?</a></li>
<li><a title="韩国女团 aespa 首场 VR 演唱会或暗示 Quest 3 将于 10 月推出" href="http://www.yund56.com/post/5202.html">韩国女团 aespa 首场 VR 演唱会或暗示 Quest 3 将于 10 月推出</a></li>
<li><a title="韩网热议!女团aespa成员Giselle在长腿爱豆中真的是legend" href="http://www.yund56.com/post/5201.html">韩网热议!女团aespa成员Giselle在长腿爱豆中真的是legend</a></li>
<li><a title="假唱而被骂爆的女团:IVE、NewJeans、aespa上榜" href="http://www.yund56.com/post/5200.html">假唱而被骂爆的女团:IVE、NewJeans、aespa上榜</a></li>
<li><a title="新女团Aespa登时尚大片 四个少女四种style" href="http://www.yund56.com/post/5199.html">新女团Aespa登时尚大片 四个少女四种style</a></li>
<li><a title="韩国女团aespa新歌MV曝光 画面梦幻造型超美" href="http://www.yund56.com/post/5198.html">韩国女团aespa新歌MV曝光 画面梦幻造型超美</a></li>
<li><a title="女网友向拳头维权，自称是萨勒芬妮的原型?某韩国女团抄袭KDA" href="http://www.yund56.com/post/5197.html">女网友向拳头维权，自称是萨勒芬妮的原型?某韩国女团抄袭KDA</a></li>
<li><a title="人气TOP女团是?INS粉丝数见分晓;TWICE成员为何在演唱会落泪?" href="http://www.yund56.com/post/5196.html">人气TOP女团是?INS粉丝数见分晓;TWICE成员为何在演唱会落泪?</a></li>
<li><a title="韩国女团MVaespa Drama MV_韩国女团穿超短裙子跳舞" href="http://www.yund56.com/post/5195.html">韩国女团MVaespa Drama MV_韩国女团穿超短裙子跳舞</a></li>
<li><a title="aespa师妹团今年将出道! SM职员亲口曝「新女团风格、人数」" href="http://www.yund56.com/post/5194.html">aespa师妹团今年将出道! SM职员亲口曝「新女团风格、人数」</a></li>
</ul>
</dd>
</dl>
<dl class="function" id="divTags">
<dt class="function_t">标签列表</dt><dd class="function_c">
<ul><li><a title="filter函数js" href="http://www.yund56.com/tags-1.html">filter函数js<span class="tag-count"> (37)</span></a></li>
<li><a title="filter函数excel用不了" href="http://www.yund56.com/tags-2.html">filter函数excel用不了<span class="tag-count"> (73)</span></a></li>
<li><a title="商城开发" href="http://www.yund56.com/tags-3.html">商城开发<span class="tag-count"> (40)</span></a></li>
<li><a title="影视网站免费源码最新版" href="http://www.yund56.com/tags-4.html">影视网站免费源码最新版<span class="tag-count"> (57)</span></a></li>
<li><a title="影视资源api接口" href="http://www.yund56.com/tags-5.html">影视资源api接口<span class="tag-count"> (46)</span></a></li>
<li><a title="网站留言板代码大全" href="http://www.yund56.com/tags-6.html">网站留言板代码大全<span class="tag-count"> (56)</span></a></li>
<li><a title="java版软件下载" href="http://www.yund56.com/tags-7.html">java版软件下载<span class="tag-count"> (52)</span></a></li>
<li><a title="java教材电子课本下载" href="http://www.yund56.com/tags-8.html">java教材电子课本下载<span class="tag-count"> (48)</span></a></li>
<li><a title="0基础编程从什么开始学" href="http://www.yund56.com/tags-11.html">0基础编程从什么开始学<span class="tag-count"> (50)</span></a></li>
<li><a title="java是用来干嘛的" href="http://www.yund56.com/tags-12.html">java是用来干嘛的<span class="tag-count"> (51)</span></a></li>
<li><a title="it入门应该学什么" href="http://www.yund56.com/tags-13.html">it入门应该学什么<span class="tag-count"> (55)</span></a></li>
<li><a title="java线上课程" href="http://www.yund56.com/tags-14.html">java线上课程<span class="tag-count"> (55)</span></a></li>
<li><a title="学java的软件叫什么软件" href="http://www.yund56.com/tags-15.html">学java的软件叫什么软件<span class="tag-count"> (38)</span></a></li>
<li><a title="程序开发软件有哪些" href="http://www.yund56.com/tags-16.html">程序开发软件有哪些<span class="tag-count"> (53)</span></a></li>
<li><a title="软件培训" href="http://www.yund56.com/tags-17.html">软件培训<span class="tag-count"> (59)</span></a></li>
<li><a title="机器人编程代码大全" href="http://www.yund56.com/tags-18.html">机器人编程代码大全<span class="tag-count"> (50)</span></a></li>
<li><a title="少儿编程教程免费" href="http://www.yund56.com/tags-19.html">少儿编程教程免费<span class="tag-count"> (45)</span></a></li>
<li><a title="新代系统编程教学" href="http://www.yund56.com/tags-20.html">新代系统编程教学<span class="tag-count"> (61)</span></a></li>
<li><a title="共创世界编程网站" href="http://www.yund56.com/tags-22.html">共创世界编程网站<span class="tag-count"> (38)</span></a></li>
<li><a title="亲测源码" href="http://www.yund56.com/tags-27.html">亲测源码<span class="tag-count"> (36)</span></a></li>
<li><a title="三角函数积分公式表" href="http://www.yund56.com/tags-29.html">三角函数积分公式表<span class="tag-count"> (35)</span></a></li>
<li><a title="函数的表示方法" href="http://www.yund56.com/tags-59.html">函数的表示方法<span class="tag-count"> (34)</span></a></li>
<li><a title="表格乘法的公式怎么设置" href="http://www.yund56.com/tags-179.html">表格乘法的公式怎么设置<span class="tag-count"> (34)</span></a></li>
<li><a title="sumif函数的例子" href="http://www.yund56.com/tags-183.html">sumif函数的例子<span class="tag-count"> (34)</span></a></li>
<li><a title="图片素材" href="http://www.yund56.com/tags-189.html">图片素材<span class="tag-count"> (36)</span></a></li>
</ul>
</dd>
</dl>
</div>
</div>
</div>
</div>
<div class="footer">
<div class="wide ta-c f-12">
<a href="https://beian.miit.gov.cn/" target="_blank">蜀ICP备2024111239号-27</a> </div>
</div>
<div class="fixed-box ">
<ul>
<li class="pchide wapflex"><a href="http://www.yund56.com/"><i class="fa fa-home"></i> 首页</a></li>
<li><a href="http://www.yund56.com/shoulu.html" title="收录申请" target="_blank"><i class="fa fa-chain-broken mr5"></i>收录</a></li>
<li><span class="gotop"><i class="fa fa-caret-up mr5"></i> 顶部</span></li>
</ul>
</div>
<script src="http://www.yund56.com/zb_users/theme/tx_hao/script/txcstx.min.js?v=2024-12-04"></script>
</body>
</html><!--104.19 ms , 13 queries , 3247kb memory , 0 error-->