为了更好地了解IO模型，我们需要事先回顾下：同步、异步、阻塞、非阻塞 同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？ 这个问题其实不同的人给出的答案都可能不同，比如w
2018-11-21
安装： pip3 install gevent Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部
2018-11-15
如果我们在单个线程内有20个任务，要想实现在多个任务之间切换，使用yield生成器的方式过于麻烦（需要先得到初始化一次的生成器，然后再调用send。。。非常麻烦），而使用greenlet模块可以非常简单地实现这20个任务直接的切换 # pip3 install greenlet from gre
2018-11-15
一 引子 本节的主题是基于单线程来实现并发，即只用一个主线程（很明显可利用的cpu只有一个）的情况下实现并发，为此我们需要先回顾下并发的本质：切换+保存状态 cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制）: 第一种情况是该任务发生了阻塞 第二种种
2018-11-15
一个简单的爬虫基础练习： from concurrent.futures import ThreadPoolExecutor import requests, time def get(url): print("GET %s" % url) response = r
2018-11-14
提交任务的两种方式： 1. 同步调用： 提交完任务后，就在原地等待任务执行完毕，拿到结果，再执行下一步代码，导致程序是串行执行。 来看一个拉粑粑的例子： from concurrent.futures import ThreadPoolExecutor import time, rando
2018-11-13
在刚开始学多进程或多线程时，我们迫不及待地基于多进程或多线程实现并发的套接字通信，然而这种实现方式的致命缺陷是： 服务的开启的进程数或线程数都会随着并发的客户端数目地增多而增多，这会对服务端主机带来巨大的压力，甚至于不堪重负而瘫痪，于是我们必须对服务端开启的进程数或线程数加以控制，让机器在一个自己
2018-11-13
我们来看看原来的例子，简单的套接字通信： 服务端： import socket server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server.bind(("127.0.0.1", 9090)) server.list
2018-11-13
queue is especially useful in threaded programming when information must be exchanged safely between multiple threads. 进程queue：用于进程之间共享数据，因为多个进程内存空间是
2018-11-12
一、信号量 Semaphore 信号量也是一把锁，可以指定信号量为5，对比互斥锁同一时间只能有一个任务抢到锁去执行，信号量同一时间可以有5个任务拿到锁去执行，如果说互斥锁是合租房屋的人去抢一个厕所，那么信号量就相当于一群路人争抢公共厕所，公共厕所有多个坑位，这意味着同一时间可以有多个人上公共厕所，
2018-11-07