Python 爬取电影网站的信息

艾鱼

自学Python一段时间了，写的代码比较紊乱，也不多，大佬勿喷。

1. #!/usr/bin/env python
   
2. # -*- coding: utf-8 -*-
   
3. # @Date    : 2018-07-30 17:14:11
   
4. # @Author  : --Eruy-- (yl8923@qq.com)
   
5. # @Link    : https://www.leybc.com/
   
6. # @Version : $Id$
   
7. #请求库
   
8. import requests
   
9. 
   
10. #解析库 bs4  css pyquery Json xpath re
    
11. from lxml import etree
    
12. 
    
13. #        类
    
14. class MiNiMp4(object):
    
15. 
    
16.         """docstring for GetMovies"""
    
17.        
    
18.         def GetMovies(self, page):
    
19.                 url = 'http://www.minimp4.com/movie/?page={}'.format(page)
    
20.                 html = requests.get(url)               
    
21. 
    
22.                 htmll = etree.HTML(html.text)        #初始化xml
    
23.                 hrefs = htmll.xpath('//div[@class="meta"]/h1/a/@href')
    
24. 
    
25.                 # print(hrefs)
    
26.                 for url in hrefs:
    
27.                         html = requests.get(url)
    
28. 
    
29.                         dat = etree.HTML(html.text)
    
30.                         movieName = dat.xpath('//div[@class="movie-meta"]/h1/text()')
    
31.                         print(movieName)
    
32. 
    
33.                         self.saveMovies(movieName)
    
34.                 # return url
    
35.                 #
    
36.         @staticmethod
    
37.         def saveMovies(data):
    
38.                 with open('movies.txt','a',encoding='utf-8') as fp:
    
39.                         fp.write(data[0]+'\n')
    
40. 
    
41. 
    
42. 
    
43. 
    
44. if __name__ == "__main__":
    
45.         minimp4 = MiNiMp4()
    
46. 
    
47.         for n in range(10):
    
48.                 minimp4.GetMovies(n)
    
49. 
    
50. 
    

复制代码