python获得google自动完成下拉框文本

soda

代码是从国外网站上找的，原来的一些参数不能用了，我调整了一下。
如果觉得有用，给点鼓励。谢谢。

1. #!/usr/bin/python
   
2. #    Copyright (C) 2010 <[email protected]>
   
3. 
   
4. import urllib2, sys, getopt, time
   
5. import socket
   
6. from urllib import quote
   
7. from xml.etree.ElementTree import XMLParser
   
8. from threading import Thread
   
9. 
   
10. print "\n***************************"
    
11. print "* Google Suggest Scrapper *"
    
12. print "* Coded by ____________      *"
    
13. print "* [email protected]        *"
    
14. print "***************************\n"
    
15. 
    
16. global i
    
17. global recursiveLevel
    
18. global outputFile
    
19. recursiveLevel = 0
    
20. outputFile = ''
    
21. 
    
22. def usage():
    
23.     print "Usage: GoogleSuggest.py [options] \n"
    
24.     print "       -k:     Keywords: Keywords to use (separated by #)"
    
25.     print "       -f:     File: File to read keywords from (overrides -k)"
    
26.     print "       -r:     Recursive level (0-5): Use suggested keywords to get more keywords up to -r times [Default: 0]"
    
27.     print "       -t:     Threads: Number of threads (default 5)"
    
28.     print "       -o:     Output file: Save keywords found to file\n\n"
    
29.     print "Examples:\n"
    
30.     print "       GoogleSuggest.py -k keyword1"
    
31.     print "       GoogleSuggest.py -k keyword1#keyword2#keyword3 -r 1"
    
32.     print "       GoogleSuggest.py -f keyword_file.txt -o keywords_found.txt -t 10"
    
33.     sys.exit()
    
34. 
    
35. class do(Thread):
    
36.     def __init__( self, keyword ):
    
37.         Thread.__init__(self)
    
38.         self.keyword = keyword
    
39.         self.result = []
    
40. 
    
41.     def run(self):
    
42.         global i
    
43.         tmp = []
    
44.         tmp2 = []
    
45.         for level in range(0, recursiveLevel+1):
    
46.             if level == 0:
    
47.                 keyword = self.keyword.split()[0]
    
48.                 tmp = self.getKeywords(keyword)
    
49.             else:
    
50.                 seedkeyword = keyword
    
51.                 while len(tmp):
    
52.                     keyword = tmp.pop(0)
    
53.                     if keyword == seedkeyword:
    
54.                         continue
    
55.                     else:
    
56.                         if level<recursiveLevel:
    
57.                             tmp2 = self.getKeywords(keyword)
    
58.                         else:
    
59.                             self.getKeywords(keyword)
    
60.                 tmp = tmp2
    
61.         time.sleep(0)
    
62.         i = i-1
    
63. 
    
64.     def getKeywords(self, keyword):
    
65.         tmp = []
    
66.         url = 'http://clients1.google.com/complete/search?output=toolbar&q='+quote(keyword)
    
67.         print url
    
68.         response = urllib2.urlopen(url)
    
69.         cont = response.read()
    
70.         x = XMLParser()
    
71.         x.feed(cont)
    
72.         tree = x.close()
    
73.         for e in tree.findall('CompleteSuggestion'):
    
74.             #self.result.append([[keyword], [e.find('suggestion').get('data'), e.find('num_queries').get('int')]])
    
75.             self.result.append([[keyword], [e.find('suggestion').get('data')]])
    
76.             tmp.append(e.find('suggestion').get('data'))
    
77.         return tmp
    
78. 
    
79. def startThreads(keywords):
    
80.     global i
    
81.     i = 0
    
82.     threads = []
    
83.     ret = []
    
84.     while len(keywords):
    
85.         try:
    
86.             if i<th:
    
87.                 keyword = keywords.pop(0)
    
88.                 i = i+1
    
89.                 thread = do(keyword)
    
90.                 thread.start()
    
91.                 threads.append(thread)
    
92.         except KeyboardInterrupt:
    
93.             print 'Suspended by user...\n'
    
94.             sys.exit()
    
95.         for t in threads:
    
96.             t.join()
    
97.         for r in t.result:
    
98.             ret.append(r)
    
99.     output(ret)
    
100. 
     
101. def output(ret):
     
102.     global outputFile
     
103.     output = []
     
104.     while len(ret):
     
105.         data = ret.pop(0)[1][0]
     
106.         output.append(data+'\n')
     
107.         print data
     
108.     if outputFile:
     
109.         try:
     
110.                f = open(outputFile,'w')
     
111.         except:
     
112.             print 'Can\'t open output file\n'
     
113.             sys.exit()
     
114.         f.writelines(output)
     
115.         f.close()
     
116. 
     
117. def run(argv):
     
118.     global th
     
119.     global recursiveLevel
     
120.     global outputFile
     
121.     th = 5
     
122.     if len(sys.argv) < 3:
     
123.         usage()
     
124.     try:
     
125.         opts, args = getopt.getopt(argv,'k:f:r:t:o:')
     
126.     except getopt.GetoptError:
     
127.         usage()
     
128.     for opt,arg in opts :
     
129.         if opt == '-k':
     
130.             inputKeywords = arg
     
131.         elif opt == '-f':
     
132.             try:
     
133.                 inputFile = open(arg, "r")
     
134.             except:
     
135.                 print 'Can\'t open keywords file\n'
     
136.                 sys.exit()
     
137.         elif opt == '-r':
     
138.             recursiveLevel = int(arg)
     
139.         elif opt == '-t':
     
140.             th = arg
     
141.         elif opt == '-o':
     
142.             outputFile = arg
     
143.     try:
     
144.       inputFile
     
145.     except NameError:
     
146.         inputKeywords = inputKeywords.split('#')
     
147.     else:
     
148.         inputKeywords = inputFile.readlines()
     
149.     startThreads(inputKeywords)
     
150. 
     
151. if __name__ == "__main__":
     
152.     try:
     
153.         run(sys.argv[1:])
     
154.     except KeyboardInterrupt:
     
155.         print "Ctrl+C Exit By USER...\n"
     
156.         sys.exit()
     

复制代码

第三层境界

能看懂一些  模块有些不懂。。。

AppFloodWantsU

python的urllib2貌似已经升级了，增加了很多功能。